2

Estou precisando comparar dois arquivos .csv em busca de inconsistências. O arquivo boleto.txt contem informações dos boletos emitidos por uma empresa. Esse arquivo está com 500 mil linhas. O arquivo lancamentos.txt contem informações dos itens inclusos em cada boleto. Esse arquivo está com 1,2 milhão de linhas.

Preciso verificar se a soma do valor dos itens do arquivo lançamentos.txt é equivalente ao valor do boleto no arquivo boleto.txt.

Fiz o seguinte código em python:

import numpy as np
import pandas as pd

#lendo o arquivo boleto.txt
boleto = pd.read_csv("""C:/boleto.txt""", header = None,delimiter='\t',encoding = 'ISO-8859-1')
boleto.columns = ['sigla','unidade','numero','dt_vencimento','valor','dt_pagamento','valor_pago','dt_credito','reembolso','status','abonado','inativo','nao_contabil','pessoa','custas']

#lendo o arquivo lancamentos.txt
lancamentos = pd.read_csv("""C:/lancamentos.txt""", header = None,delimiter='\t',encoding = 'ISO-8859-1')
lancamentos.columns = ['sigla','unidade','numero','dt_vencimento','dt_credito','valor','valor_pago','destinacao','desconto','conta','desconhecido']

#percorrendo boleto por boleto
for row in boleto.index:
    #definindo as condições
    cond1 = (lancamentos['sigla'] == boleto.iloc[row]["sigla"])
    cond2 = (lancamentos['unidade'] == boleto.iloc[row]["unidade"])
    cond3 = (lancamentos['numero'] == boleto.iloc[row]["numero"])
    cond4 = (lancamentos['dt_vencimento'] == boleto.iloc[row]["dt_vencimento"])
    
    #fazendo os filtros para pegar os lançamento referentes ao boleto
    resultado = lancamentos.loc[(cond1 & cond2 & cond3 & cond4)]
    
    #caso o valor do boleto seja diferente da soma dos valores dos lançamentos
    if boleto.iloc[row]["valor"] != resultado['valor'].sum().round(decimals = 2):
        print('diferente')
        print(boleto.iloc[row]["valor"])
        print(resultado['valor'].sum())

Esse código até funciona, só que está demorando horrores para rodar. Existe alguma maneira de reescreve-lo para deixa-lo mais rápido?

1
  • 1
    Gugax, boa noite! Disponibilize dados de teste e um exemplo de resultado esperado, dessa forma as pessoas podem te ajudar com mais facilidade. Abraço! Commented 20/01/2021 às 1:08

2 Respostas 2

1

Baseado na pergunta abaixo:

Preciso verificar se a soma do valor dos itens do arquivo lançamentos.txt é equivalente ao valor do boleto no arquivo boleto.txt.

Use o métoto gropby e sum() em conjunto

Exemplo:

>>> import pandas as pd

>>> df = pd.DataFrame({"A": [1.1, 1.2, 1.3, 1.4], "B": ["banana", "abacaxi", "abacaxi", "banana"]})

>>> df
     A        B
0  1.1   banana
1  1.2  abacaxi
2  1.3  abacaxi
3  1.4   banana

>>> df.groupby(["B"]).sum()
           A
B
abacaxi  2.5
banana   2.5

Você pode fazer o groupby por mais de uma coluna, acrescentando as mesmas na lista que o groupby recebe como parâmetro.

O resultado do groupby & sum pode ser atribuído a um novo DataFrame.

Depois é só trabalhar com ele.

Espero que ajude

1

Cara, tem uma biblioteca muito boa para DataFrames grandes, mas pouco falada por aí, se chama dask.

import dask import dask.dataframe as dd

A maior parte das operações feitas em pandas, é reproduzível no dask.

Se liga na diferença de tempo percorrido:

inserir a descrição da imagem aqui

inserir a descrição da imagem aqui

Fonte da imagem

Resumidamente, ele opera paralelamente, onde cada operação se divide em N menores arquivos Numpy. Confesso que não sei exatamente como funciona, pois faz tempo que li a sua documentação. Porém, acredito que resolva o problema que você está enfrentando em relação a demora de execução.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .