7

Estou fazendo scraping para extrair arquivos .pdf, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.

Por exemplo neste arquivo, é possível ver as 3 colunas em questão. Eu consigo ler o arquivo como .txt com o seguinte código:

library("rvest")
library("pdftools")

pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"

# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
  jump_to(pdf_link)

# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)

O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n.

O que eu gostaria era de separar as colunas para o texto fazer sentido.

A idéia que tive é:

  • Separar as linhas até os \r\n
  • Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).

Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.

Se existir alguma outra solução baseada nas especificidades do .pdf também ia ser muito interessante.

2 Respostas 2

6

A resposta do @José é ótima para a página em questão. Mas tente usar esse algoritmo na página 2 ou 10 e vai ver que as coisas saem um pouco do controle.

Isso ocorre porque nem todas as colunas tem o mesmo tamanho no DOU (um pressuposto na resposta do @José). No caso da página 2 a primeira coluna tem menos de 40 linhas e o texto restante se divide igualmente entre as duas colunas restantes ou mesmo porque o número de elementos de doc1 que devem ser "pulados" - doc1[1:4] - variam.

Minha abordagem para este problema até o momento tem sido:

  1. Abrir o *.pdf do DOU no Word e salvar como *.txt (isso pode ser automatizado de muitas formas, mas não conheço nenhuma pelo R).

  2. Ler o *.txt com o readLines(). No *.txt criado pelo Word as colunas (sendo uma, duas ou três) são "empilhadas" de forma que você pode trabalhar mais facilmente com o texto.

A vantagem/desvantagem desta forma é que você confia no algoritmo da Microsoft para lidar com o pdf, que é muito melhor do que um que se possa criar rapidamente, mas escapa ao nosso controle.

4
  • Sim. Fui fazer os teste hoje de manhã e teve algumas falhas. O problema é que algumas linhas são somente espaços (embaixo de algum título por exemplo), e o algoritmo desconsidera essa linha, oq na hora de juntar as colunas, fica errado. Achei muito interessante sua idéia, vou testar manualmente aqui e depois procurar se existe essa solução no R ou python. Valeu.
    – TheBiro
    Commented 25/04/2017 às 13:39
  • 1
    O pacote pyWin32 do python pode ajudar. Commented 25/04/2017 às 13:42
  • Valeu! Fiz o teste aqui no word e funciona muito bem, foi uma ótima idéia.
    – TheBiro
    Commented 25/04/2017 às 13:49
  • 1
    Editei minha resposta para usar o tabulizer. Testei com a página 2 e funcionou. Além disso, simplifiquei o código que você usou para scraping.
    – José
    Commented 25/04/2017 às 15:39
5

Veja se isso ajuda:

doc1<-unlist(stringr::str_split(doc,"\\s{5,}|\n"))
c1<-paste0(doc1[seq(5,length(doc1),3)],collapse = " ")
c2<-paste0(doc1[seq(6,length(doc1),3)],collapse = " ")
c3<-paste0(doc1[seq(7,length(doc1),3)],collapse = " ")

Você pode tentar usar o pacote tabulizer também. Ele aparentemente supera as limitações de colunas com diferentes tamanhos:

library(tabulizer)
tmp<-tempfile()

url<-"http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=2&data=03/04/2017&captchafield=firistAccess"

httr::GET(url,write_disk(tmp))

doc<-extract_text(tmp)
2
  • Muito bom, valeu
    – TheBiro
    Commented 25/04/2017 às 2:11
  • 1
    O extract_text já faz todo o serviço aparentemente. Muito obrigado
    – TheBiro
    Commented 25/04/2017 às 16:57

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .