7

Eu fiz um scrapping em Python que pega uma URL de um PDF qualquer, lê e retorna, porém em alguns PDFs estou tendo o problema de vir com uns caracteres assim:

".\nO \xc3\xb3rg\xc3\xa3o tamb\xc3\xa9m divulga resultado\n\nGH\xc3\x80QLWLYR\x03GRV\x03FDQGLGDWRV\x03TXH\x03VH\x03GHFODUDUDP\x03FRP\x03GH\xc3\x80FLrQFLD\x03H\x03GRV\x03SHGLGRV\x03\nde atendimento especial deferidos.\nO concurso visa o provimento\nefetivo de 150 vagas para a classe\ninicial (Classe A) do cargo de delegado de Pol\xc3\xadcia Civil, cujas vagas ser\xc3\xa3o\n\nprovidas conforme a ordem de clasVL\xc3\x80FDomR\x03H\x03D\x03QHFHVVLGDGH\x03GR\x03VHUYLoR\x11\nA"

Pelo que pude ver, isso acontece quando tem algum acento, coluna ou até traço no documento..

Também reparei que se tem imagem, me retorna caracteres estranhos! Alguém tem alguma solução ou ideia que possa me ajudar?

2
  • 1
    ja tentou .unicode('utf-8') (utf8) não me recordo bem...
    – RFL
    Commented 19/09/2016 às 19:46
  • Rapazes, obrigada pela ajuda. Realmente existe o encode e decode que ajuda a resolver esses caracteres em UTF-8... Mas no texto ainda tem uma parcela de texto que isso não funciona, seria nesses trechos: "GHFODUD". Commented 27/09/2016 às 19:45

2 Respostas 2

3

Uma outra alternativa é usar str.encode com encoding Latin 1 e str.decode para decodificar para UTF-8. Veja um exemplo:

print ("\xc3\xb3".encode('latin1').decode('utf-8')) # ó

No teu caso, faça assim:

print (texto.encode('latin1').decode('utf-8'))

Onde texto é a variável que você quer aplicar o encode/decode.

Resultado:

O órgão também divulga resultado

GHÀQLWLYRGRVFDQGLGDWRVTXHVHGHFODUDUDPFRPGHÀFLrQFLDHGRVSHGLGRV
de atendimento especial deferidos.
O concurso visa o provimento
efetivo de 150 vagas para a classe
inicial (Classe A) do cargo de delegado de Polícia Civil, cujas vagas serão

providas conforme a ordem de clasVLÀFDomRHDQHFHVVLGDGHGRVHUYLoR
A
2

Usando Python e pdfminer (pdfminer3k para o Python 3), implementei a leitura de PDF através da seguinte classe:

import pdfminer
from pdfminer.pdfinterp import PDFResourceManager, process_pdf
from pdfminer.pdfdevice import TagExtractor
from pdfminer.converter import XMLConverter, HTMLConverter, TextConverter
from pdfminer.layout import LAParams
from pdfminer.utils import set_debug_logging
import io

class LeitorPdf():
    def __init__(self, **kwargs):
        self.resource_manager = PDFResourceManager(caching=False)
        self.output_stream = io.StringIO()
        self.device = TextConverter(self.resource_manager, self.output_stream, laparams=None)

    def extrair_texto(self, file_name):
        fp = io.open(file_name, 'rb')
        process_pdf(self.resource_manager, self.device, fp, set(), maxpages=0, password='', caching=False, check_extractable=True)
        return self.output_stream.getvalue()

O PDF precisa ser salvo em algum lugar antes.

Uso:

texto = LeitorPdf().extrair_texto(nome_arquivo)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .