Estou precisando comparar dois arquivos .csv em busca de inconsistências. O arquivo boleto.txt contem informações dos boletos emitidos por uma empresa. Esse arquivo está com 500 mil linhas. O arquivo lancamentos.txt contem informações dos itens inclusos em cada boleto. Esse arquivo está com 1,2 milhão de linhas.
Preciso verificar se a soma do valor dos itens do arquivo lançamentos.txt é equivalente ao valor do boleto no arquivo boleto.txt.
Fiz o seguinte código em python:
import numpy as np
import pandas as pd
#lendo o arquivo boleto.txt
boleto = pd.read_csv("""C:/boleto.txt""", header = None,delimiter='\t',encoding = 'ISO-8859-1')
boleto.columns = ['sigla','unidade','numero','dt_vencimento','valor','dt_pagamento','valor_pago','dt_credito','reembolso','status','abonado','inativo','nao_contabil','pessoa','custas']
#lendo o arquivo lancamentos.txt
lancamentos = pd.read_csv("""C:/lancamentos.txt""", header = None,delimiter='\t',encoding = 'ISO-8859-1')
lancamentos.columns = ['sigla','unidade','numero','dt_vencimento','dt_credito','valor','valor_pago','destinacao','desconto','conta','desconhecido']
#percorrendo boleto por boleto
for row in boleto.index:
#definindo as condições
cond1 = (lancamentos['sigla'] == boleto.iloc[row]["sigla"])
cond2 = (lancamentos['unidade'] == boleto.iloc[row]["unidade"])
cond3 = (lancamentos['numero'] == boleto.iloc[row]["numero"])
cond4 = (lancamentos['dt_vencimento'] == boleto.iloc[row]["dt_vencimento"])
#fazendo os filtros para pegar os lançamento referentes ao boleto
resultado = lancamentos.loc[(cond1 & cond2 & cond3 & cond4)]
#caso o valor do boleto seja diferente da soma dos valores dos lançamentos
if boleto.iloc[row]["valor"] != resultado['valor'].sum().round(decimals = 2):
print('diferente')
print(boleto.iloc[row]["valor"])
print(resultado['valor'].sum())
Esse código até funciona, só que está demorando horrores para rodar. Existe alguma maneira de reescreve-lo para deixa-lo mais rápido?