Skip to main content
Tweeted twitter.com/StackOverflowPT/status/857227142148612097
removeu 14 caracteres do conteúdo
Fonte Link
Marcus Nunes
  • 19mil
  • 9
  • 32
  • 59

Boa tarde,

Estou fazendo scraping para extrair arquivos .pdf, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.

Por exemplo neste arquivo, é possível ver as 3 colunas em questão. Eu consigo ler o arquivo como .txt com o seguinte código:

library("rvest")
library("pdftools")

pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"

# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
  jump_to(pdf_link)

# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)

  

O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n.

O que eu gostaria era de separar as colunas para o texto fazer sentido.

A idéia que tive é:

  • Separar as linhas até os \r\n
  • Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).

Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.

Se existir alguma outra solução baseada nas especificidades do .pdf também ia ser muito interessante.

Boa tarde,

Estou fazendo scraping para extrair arquivos .pdf, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.

Por exemplo neste arquivo, é possível ver as 3 colunas em questão. Eu consigo ler o arquivo como .txt com o seguinte código:

library("rvest")
library("pdftools")

pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"

# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
  jump_to(pdf_link)

# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)

  

O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n.

O que eu gostaria era de separar as colunas para o texto fazer sentido.

A idéia que tive é:

  • Separar as linhas até os \r\n
  • Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).

Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.

Se existir alguma outra solução baseada nas especificidades do .pdf também ia ser muito interessante.

Estou fazendo scraping para extrair arquivos .pdf, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.

Por exemplo neste arquivo, é possível ver as 3 colunas em questão. Eu consigo ler o arquivo como .txt com o seguinte código:

library("rvest")
library("pdftools")

pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"

# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
  jump_to(pdf_link)

# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)

  

O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n.

O que eu gostaria era de separar as colunas para o texto fazer sentido.

A idéia que tive é:

  • Separar as linhas até os \r\n
  • Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).

Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.

Se existir alguma outra solução baseada nas especificidades do .pdf também ia ser muito interessante.

Fonte Link
TheBiro
  • 525
  • 2
  • 12

PDF para texto organizando as colunas

Boa tarde,

Estou fazendo scraping para extrair arquivos .pdf, e preciso desses arquivos como um texto organizado, já que para cada linha de texto do arquivo encontram-se 3 colunas diferentes.

Por exemplo neste arquivo, é possível ver as 3 colunas em questão. Eu consigo ler o arquivo como .txt com o seguinte código:

library("rvest")
library("pdftools")

pdf_link <- "http://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=3&data=03/04/2017&captchafield=firistAccess"

# Inicia seção e acessa o .pdf
s <- html_session(pdf_link) %>%
  jump_to(pdf_link)

# Salva o arquivo como pdf e depois le
tmp <- tempfile(fileext = '.pdf')
writeBin(s$response$content,tmp)
doc <- pdf_text(tmp)

  

O problema é que cada linha do arquivo texto, estão presentes as 3 colunas separadas por espaços, e cada linha (com as 3 colunas) é separada por um \r\n.

O que eu gostaria era de separar as colunas para o texto fazer sentido.

A idéia que tive é:

  • Separar as linhas até os \r\n
  • Separar as colunas baseado no número de espaços (por exemplo: se existe uma sequencia de 5 espaços consecutivos, considera uma coluna).

Eu nunca mexi com strings e regex, por isso estou tendo dificuldades. E eu vou precisar automatizar isso para vários arquivos, o que pode causar muitos erros por causa do número de espaços ou da disposição das colunas.

Se existir alguma outra solução baseada nas especificidades do .pdf também ia ser muito interessante.