Ok, depois do verdadeiro chat nos comentários, e vc ter me mandado os csv's, "resolvi o seu problema" (que isso não se repita, ahahaha), vamos lá. O problema é que vc precisa comparar cada linha dos dataframes, e voce esta comparando as colunas inteiras, isso não pode; mesmo porque os dataframes tem tamanhos diferentes (por isso da o erro), fiz testes com os csv's que vc me enviou, nenhuma linha do csv menor é totalmente identica à linha relativa (mesmo indice) ao csv maior, veja o codigo:
Clique aqui para ver codigo abaixo rodando.
import pandas as pd
df1 = pd.read_csv("JonnyTheBoy10.csv", usecols=['ART_TIPO', 'ART_DESIG', 'PORTA', 'CP4', 'CP3', 'LOCALIDADE'])
df2 = pd.read_csv("JonnyTheBoyFull.csv", usecols=['ART_TIPO', 'ART_DESIG', 'PORTA', 'CP4', 'CP3', 'LOCALIDADE'])
all_equals=[]
cp3_equal=[]
cp4_equal=[]
for index, row in df1.iterrows():
if str(row.CP4)==str(df2.CP4[index]) and str(row.CP3)==str(df2.CP3[index]):
all_equals.append(row)
if str(row.CP3)==str(df2.CP3[index]):
cp3_equal.append(row)
if str(row.CP4)==str(df2.CP4[index]):
cp4_equal.append(row)
print ('Igualdades em ambos: ', len(all_equals))
print ('Igualdades em CP3: ', len(cp3_equal))
print ('Igualdades em CP4: ', len(cp4_equal))
Igualdades em ambos: 0
Igualdades em CP3: 9
Igualdades em CP4: 0
Vou deixar a explicação inicial (abaixo) porque pode servir para outras pessoas em outros contextos.
Veja esse exemplo:
df1 = pd.DataFrame([['A', 'B'], ['C', 'D']])
df2 = pd.DataFrame([['C', 'D'], ['A', 'B']])
df1==df2
0 1
0 False False
1 False False
Agora, o mesmo exemplo, mas com o df2 'indexado'.
df1 = pd.DataFrame([['A', 'B'], ['C', 'D']])
df2 = pd.DataFrame([['C', 'D'], ['A', 'B']], index=[1,0])
df1==df2
....
raise ValueError('Can only compare identically-labeled '
...
Veja que foi levantado uma exceção com o mesmo erro que vc relata, eu suprimi a msg inteira para ficar mais fácil.
Solução 1: Drope os indices:
df1.reset_index(drop=True) == df2.reset_index(drop=True)
0 1
0 False False
1 False False
Solução 2: Faça sort em axis=0:
df1.sort_index()==df2.sort_index()
0 1
0 True True
1 True True
Note que == é 'sensitivo' à ordem das colunas.
Aplicando ao exemplo da sua questão.
No caso da sua questão, tente apenas mudar o if
para:
if df1.reset_index(drop=True)["CP4"] == df2.reset_index(drop=True)["CP4"] and
df1.reset_index(drop=True)["CP3"] == df2.reset_index(drop=True)["CP3"]