1

Boa tarde! utilizo o Camelot para extrair dados de arquivos PDF (extratos bancários para ser mais exato). entretando estou com um arquivo pdf com mais de 5000 paginas, e o camelot esta um tanto vagaroso. decidi criar um script onde o camelot processa un numero x de paginas por vez, até que todas as paginas estejam extraidas. no processo armazenando todas as tabelas encontradas em um dataframe. ocorre que acredito que o dataframe está se tornando um tanto quanto grande. eu exporto para excel o dataframe a cada x paginas. porem não zero o mesmo pois preciso incrementar o arquivo excel.

gostaria se saber se existe alguma forma de salvar esses dados, incrementando o arquivo, assim zerando o dataframe a cada x paginas. o to_csv desconfigura o texto. o to_excel não permite append.

import camelot, PyPDF2, pandas, tqdm
from tkinter import Tk, filedialog as dlg

Tk().withdraw()
file=dlg.askopenfilename()
np=int(input('informe a quantidade de paginas por execução: >> '))
final=pandas.DataFrame()

j=PyPDF2.PdfFileReader(file)
pag=j.getNumPages()
ini=int(1)
eend=int(np)


for k in tqdm.tqdm(range(1,int(pag),np)):
    

    print(ini)
    pp=str(ini)+"-"+str(eend)
    if eend=='end':
        t=camelot.read_pdf(file,flavor='stream',pages=str(pp))
        for n in t:
            final=final.append(n.df)
        final.to_excel(file.strip('.pdf')+'.xlsx')
        break
    t=camelot.read_pdf(file,flavor='stream',pages=str(pp))
    for n in t:
        final=final.append(n.df)
    final.to_excel(file.strip('.pdf')+'.xlsx')
        
    ini+=np
    eend+=np
    if eend > int(pag):
        eend="end"
0

3 Respostas 3

1

Não tenho como testar seu programa. Sendo assim, a resposta será mais teórica.

Vamos à ideia:

  • Crie uma lista de resultados (dataframes) e depois concatene os mesmos

Veja o exemplo abaixo:

Criando os dataframes

import pandas as pd

def processa_pagina_do_pdf(n):
    return pd.DataFrame({"col": [n]})    


df_list = []

steps = 10

for x in range(0, 100, steps):
    for pagina in range(x, x+steps):
        df_tmp = processa_pagina_do_pdf(pagina)
        df_list.append(df_tmp)

Concatenando a lista de DataFrames

final_df = pd.concat(df_list)

Depois é só salvar o final_df para csv ou Excel.

Nota: Dê uma chance à PyMuPDF. Boa e rápida para extrair dados de PDF

Espero que ajude a resolver a questão

1
  • obrigado pela ajuda Paulo, vou testar o PyMuPDF Commented 21/01/2021 às 18:30
1

Talvez isso dê alguma otimizada

import camelot, PyPDF2, tqdm
import pandas as pd
from tkinter import Tk, filedialog as dlg

Tk().withdraw()

file_path = dlg.askopenfilename()
last_page = PyPDF2.PdfFileReader(file_path).getNumPages()

number_pages = int(input('informe a quantidade de páginas por execução: >> '))

ini = 1
eend = 0

for k in tqdm.tqdm(range(1, last_page, number_pages)):
    a = pd.DataFrame()

    eend += number_pages 
    
    pages = f'{ini}-{eend}'
    file = camelot.read_pdf(file_path, flavor = 'stream' , pages = pages)
    [a := pd.concat([a, item.df]) for item in file]
    
    a.to_csv('output.csv', encoding = 'latin-1', mode = 'a')
    ini += number_pages

Adicionei list comprehension e exclui um for que existia no seu código. O encoding você pode modificar para o que melhor te atenda na hora de salvar o csv. Eu não fiz nenhuma validação para o tamanho que você pode dividir as páginas, então lembre-se de calcular antes se é possível fazer a divisão de páginas.

6
  • @Imonferrari acredito que tenha melhorado a eficiência, testei aqui em casa, o computador é um pouco lerdo, amanha irei por a prova no trabalho. ainda estou aprendendo, muita coisa ainda uso o jeito bruto de fazer, mas a cada script aprendo uma biblioteca nova ou um modo mais simples de programar. obrigado pela ajuda! Commented 21/01/2021 às 22:58
  • @JulianoRodrigues, boa noite! É isso ai, sempre aprendendo! Tomara que melhore a eficiência no seu trabalho o script. Qualquer coisa estamos ai. Abraço! Commented 21/01/2021 às 23:10
  • @Imonferrari testei aqui e deu uma boa otimizada, entretando notei que o pd.concat está embaralhando os dados, entao retirei do script a dataframe 'a', e fiz deixei item.df.to_csv direto.., estou testando agora o tabula. parece ser mais rápido. mas estou notando a falta de algumas linhas exportadas.. Commented 22/01/2021 às 11:08
  • @JulianoRodrigues, opa bom dia! Possivelmente funciona também, eu não tinha como testar então complica kkkk. Commented 22/01/2021 às 12:00
  • @Imonferrari testei utilizando o camelot, não houve uma otimzação tao boa! substitui pelo tabula-py, agora o que o eu levava 5 a 6 horas com o camelot consigo em 15 a 20 minutos!! Commented 25/01/2021 às 11:09
1

após o auxilio e teste o uso do tabula o script ficou assim:

import tabula, PyPDF2, tqdm
from tkinter import Tk, filedialog as dlg

Tk().withdraw()
file_path = dlg.askopenfilename()
last_page = PyPDF2.PdfFileReader(file_path).getNumPages()

number_pages = input('informe a quantidade de páginas por execução: >> ')
if number_pages=='':number_pages=last_page
else:number_pages=int(number_pages)

ini = 1
eend = 0
for k in tqdm.tqdm(range(1, last_page, number_pages)):
    eend += number_pages
    if eend > last_page:
        eend=last_page
    
    pages = f'{ini}-{eend}'
    print(pages)
    
    file = tabula.read_pdf(file_path,guess=False,silent=True,pages = pages)
    for item in file:
        #acrescentei o try devido alguns erros de encoding. assim não houve perda de dados.
        try:
            item.to_csv(file_path.strip('.pdf')+'.csv', encoding = 'latin-1', mode = 'a')
        except:
            item.to_csv(file_path.strip('.pdf')+'.csv', mode = 'a')
        
    ini += number_pages

houve uma melhora muito grande com o uso do tabula.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .