Ok, depois do verdadeiro chat nos comentários, e vc ter me mandado os csv's, "resolvi o seu problema" (que isso não se repita, ahahaha), vamos lá. O problema é que vc precisa comparar cada linha dos dataframes, e voce esta comparando as colunas inteiras, isso não pode; mesmo porque os dataframes tem tamanhos diferentes (por isso da o erro), fiz testes com os csv's que vc me enviou, nenhuma linha do csv menor é totalmente identica à linha relativa (mesmo indice) ao csv maior, veja o codigo:
Veja esse exemplo:Clique aqui para ver codigo abaixo rodando.
import pandas as pd
df1 = pd.read_csv("JonnyTheBoy10.csv", usecols=['ART_TIPO', 'ART_DESIG', 'PORTA', 'CP4', 'CP3', 'LOCALIDADE'])
df2 = pd.read_csv("JonnyTheBoyFull.csv", usecols=['ART_TIPO', 'ART_DESIG', 'PORTA', 'CP4', 'CP3', 'LOCALIDADE'])
all_equals=[]
cp3_equal=[]
cp4_equal=[]
for index, row in df1.iterrows():
if str(row.CP4)==str(df2.CP4[index]) and str(row.CP3)==str(df2.CP3[index]):
all_equals.append(row)
if str(row.CP3)==str(df2.CP3[index]):
cp3_equal.append(row)
if str(row.CP4)==str(df2.CP4[index]):
cp4_equal.append(row)
print ('Igualdades em ambos: ', len(all_equals))
print ('Igualdades em CP3: ', len(cp3_equal))
print ('Igualdades em CP4: ', len(cp4_equal))
Igualdades em ambos: 0
Igualdades em CP3: 9
Igualdades em CP4: 0
Vou deixar a explicação inicial (abaixo) porque pode servir para outras pessoas em outros contextos.
Veja esse exemplo: