Estou fazendo scraping para extrair arquivos .pdf
, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.
Por exemplo neste arquivo, é possível ver as 3 colunas em questão.
Eu consigo ler o arquivo como .txt
com o seguinte código:
library("rvest")
library("pdftools")
pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"
# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
jump_to(pdf_link)
# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)
O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n
.
O que eu gostaria era de separar as colunas para o texto fazer sentido.
A idéia que tive é:
- Separar as linhas até os
\r\n
- Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).
Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.
Se existir alguma outra solução baseada nas especificidades do .pdf
também ia ser muito interessante.