Boa tarde! utilizo o Camelot para extrair dados de arquivos PDF (extratos bancários para ser mais exato). entretando estou com um arquivo pdf com mais de 5000 paginas, e o camelot esta um tanto vagaroso. decidi criar um script onde o camelot processa un numero x de paginas por vez, até que todas as paginas estejam extraidas. no processo armazenando todas as tabelas encontradas em um dataframe. ocorre que acredito que o dataframe está se tornando um tanto quanto grande. eu exporto para excel o dataframe a cada x paginas. porem não zero o mesmo pois preciso incrementar o arquivo excel.
gostaria se saber se existe alguma forma de salvar esses dados, incrementando o arquivo, assim zerando o dataframe a cada x paginas. o to_csv desconfigura o texto. o to_excel não permite append.
import camelot, PyPDF2, pandas, tqdm
from tkinter import Tk, filedialog as dlg
Tk().withdraw()
file=dlg.askopenfilename()
np=int(input('informe a quantidade de paginas por execução: >> '))
final=pandas.DataFrame()
j=PyPDF2.PdfFileReader(file)
pag=j.getNumPages()
ini=int(1)
eend=int(np)
for k in tqdm.tqdm(range(1,int(pag),np)):
print(ini)
pp=str(ini)+"-"+str(eend)
if eend=='end':
t=camelot.read_pdf(file,flavor='stream',pages=str(pp))
for n in t:
final=final.append(n.df)
final.to_excel(file.strip('.pdf')+'.xlsx')
break
t=camelot.read_pdf(file,flavor='stream',pages=str(pp))
for n in t:
final=final.append(n.df)
final.to_excel(file.strip('.pdf')+'.xlsx')
ini+=np
eend+=np
if eend > int(pag):
eend="end"