0

Eu tenho um conjunto de mais de 1.000 PDFs que preciso extrair os metadados. O problema é que os PDFs tem codecs diferentes. O primeiro exemplo deu certo, usei utf8. O segundo exemplo deu erro. É Python 3 o código:

from pdfminer.pdfparser import PDFParser
from pdfminer.pdfdocument import PDFDocument

Primeiro exemplo, deu certo:

def decode_str(string):return string.decode("utf8")

fp = open('EMC 1-2017 PL678716 =- PL 6787-2016.pdf', 'rb')
parser = PDFParser(fp)
doc = PDFDocument(parser)
dados_recuperados = doc.info[0]
author = decode_str(dados_recuperados.get("Author"))
subject = decode_str(dados_recuperados.get("Subject"))
creation_date = decode_str(dados_recuperados.get("CreationDate"))
mod_date = decode_str(dados_recuperados.get("ModDate"))

print (dados_recuperados)

Resultado -> {'Title': b'\xfe\xff\x00C\x00O\x00M\x00I\x00S\x00S\x00\xc3\x00O', 'Author': b'Ivanete de Araujo Costa', 'Subject': b'EMD ADI - Emenda Aditiva', 'Creator': b'\xfe\xff\x00M\x00i\x00c\x00r\x00o\x00s\x00o\x00f\x00t\x00\xae\x00 \x00W\x00o\x00r\x00d\x00 \x002\x000\x001\x000', 'CreationDate': b"D:20170314114321-07'00'", 'ModDate': b"D:20170314114321-07'00'", 'Producer': b'\xfe\xff\x00M\x00i\x00c\x00r\x00o\x00s\x00o\x00f\x00t\x00\xae\x00 \x00W\x00o\x00r\x00d\x00 \x002\x000\x001\x000'}

Segundo exemplo, deu erro:

def decode_str(string):
    return string.decode("utf8")

fp = open('EMC 4-2017 PL678716 =- PL 6787-2016.pdf', 'rb')
parser = PDFParser(fp)
doc = PDFDocument(parser)
dados_recuperados = doc.info[0]
author = decode_str(dados_recuperados.get("Author"))
subject = decode_str(dados_recuperados.get("Subject"))
creation_date = decode_str(dados_recuperados.get("CreationDate"))
mod_date = decode_str(dados_recuperados.get("ModDate"))

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-21-4826dcab6968> in <module>()
      6 doc = PDFDocument(parser)
      7 dados_recuperados = doc.info[0]
----> 8 author = decode_str(dados_recuperados.get("Author"))
      9 subject = decode_str(dados_recuperados.get("Subject"))
     10 creation_date = decode_str(dados_recuperados.get("CreationDate"))

<ipython-input-21-4826dcab6968> in decode_str(string)
      1 def decode_str(string):
----> 2     return string.decode("utf8")
      3 
      4 fp = open('EMC 4-2017 PL678716 =- PL 6787-2016.pdf', 'rb')
      5 parser = PDFParser(fp)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfe in position 0: invalid start byte

print (dados_recuperados)

Resultado -> {'Title': b'\xfe\xff\x00C\x00O\x00M\x00I\x00S\x00S\x00\xc3\x00O', 'Author': b'\xfe\xff\x00M\x00O\x00D\x00.\x00C\x00O\x00N\x00L\x00E\x00.\x00S\x00T\x00 \x002\x001\x003\x000\x00/\x002\x000\x001\x007\x00 \x00-\x00 \x00P\x00_\x006\x007\x003\x006\x00 \x00-\x00 \x00D\x00a\x00v\x00i\x00 \x00R\x00i\x00b\x00e\x00i\x00r\x00o\x00 \x00d\x00e\x00 \x00O\x00l\x00i\x00v\x00e\x00i\x00r\x00a\x00 \x00J\x00\xfa\x00n\x00i\x00o\x00r', 'Subject': b'EMD ADI - Emenda Aditiva', 'Creator': b'\xfe\xff\x00M\x00i\x00c\x00r\x00o\x00s\x00o\x00f\x00t\x00\xae\x00 \x00W\x00o\x00r\x00d\x00 \x002\x000\x001\x000', 'CreationDate': b"D:20170314114344-07'00'", 'ModDate': b"D:20170314114344-07'00'", 'Producer': b'\xfe\xff\x00M\x00i\x00c\x00r\x00o\x00s\x00o\x00f\x00t\x00\xae\x00 \x00W\x00o\x00r\x00d\x00 \x002\x000\x001\x000'}

Há uma forma de transformar o dados_recuperados = doc.info[0] em um codec padrão? Ou testar antes de pegar a string para saber que codec usar?

5
  • 1
    Transformar em um codec padrão? O que é codec padrão? Padrão da sua aplicação? O que você quer é detectar o codec e ver se é necessário decodificar de UTF8, então se o PDF for utf-8 decodifica para Latin, se não mantém como esta, seria isso?
    – Syzoth
    Commented 15/09/2017 às 18:45
  • Olá, obrigado. Sim, é isso. Mas veja que o metadado do segundo exemplo aparece um conjunto de caracteres maluco. Mas quando abro no Acrobat o metadado aparece. Então acho que também preciso saber qual é este codec do segundo caso. Commented 15/09/2017 às 19:30
  • Por exemplo, o campo author: print(author) b'\xfe\xff\x00M\x00O\x00D\x00.\x00C\x00O\x00N\x00L\x00E\x00.\x00S\x00T\x00 \x002\x001\x003\x000\x00/\x002\x000\x001\x007\x00 \x00-\x00 \x00P\x00_\x006\x007\x003\x006\x00 \x00-\x00 \x00D\x00a\x00v\x00i\x00 \x00R\x00i\x00b\x00e\x00i\x00r\x00o\x00 \x00d\x00e\x00 \x00O\x00l\x00i\x00v\x00e\x00i\x00r\x00a\x00 \x00J\x00\xfa\x00n\x00i\x00o\x00r' Commented 15/09/2017 às 19:32
  • 1
    Não são malucos, são diferentes codecs se misturando, tem que definir qual é o codec padrão do teu programa python que esta usando (definindo no charset do cabeçalho do script python geralmente) para então assim eu poder saber qual é o padrão que deseja, como eu já perguntei no comentário anterior: O que você quer é detectar o codec e ver se é necessário decodificar de UTF8, então se o PDF for utf-8 decodifica para Latin, se não mantém como esta, seria isso?
    – Syzoth
    Commented 15/09/2017 às 19:32
  • 1
    Isso não são "malucos", são "escapes", espera um pouco que eu já te digo como resolver isso, tem um link no site sobre isso.
    – Syzoth
    Commented 15/09/2017 às 19:33

1 Resposta 1

1

O que você quer é na verdade ler vários tipos de codificações e converte-las todas para a codificação que você esta usando no teu script python, provavelmente deve esta usando algo compatível com latin1, então recomendo que antes de qualquer coisa você defina o padrão no teu script, pois se rodar esse mesmo script em outra máquina talvez o padrão no terminal ou cmd seja totalmente diferente.

Você pode definir um padrão que desejar, vamos imaginar que você só deseja usar utf-8, então adicione isto no teu .py no topo:

# -*- coding: utf-8 -*-

Se deseja usar somente latin1 adicione isto:

# -*- coding: latin1 -*-

Então voltando, como eu disse, você provavelmente quer converter qualquer tipo de codificação para a codificação do sistema atual, no caso esse link já ajuda https://stackoverflow.com/a/15918519/1518921, o script é assim:

Adicione isto no topo do seu script:

import sys
import cchardet

Se não tiver o modulo cchardet instalado basta baixar em https://pypi.python.org/pypi/cchardet

E crie esta função

def str_decode(str):
    # Verifica qual o codec do sistema atual (codec "padrão")
    defaultcodec = sys.getdefaultencoding().lower()

    codec = cchardet.detect(str)['encoding']

    if (defaultcodec != codec.lower()):
        return str.decode(codec) # Se o codec for diferente do sistema atual então decodifica
    else:
        return str # Se o codec for o do sistema atual então mantêm 

Deve ficar assim:

dados_recuperados = doc.info[0]
author = str_decode(dados_recuperados.get("Author"))
subject = str_decode(dados_recuperados.get("Subject"))
creation_date = str_decode(dados_recuperados.get("CreationDate"))
mod_date = str_decode(dados_recuperados.get("ModDate"))

Note que no tr.decode(codec) o valor de codec é o obtido via cchardet.detect(str)['encoding'], deve funcionar bem, mas não há garantias de que o documento PDF esta usando apenas um codec, ou que as strings esteja 100% corretas, podem haver documentos com problemas, mas isto é relativo.

Se você tiver definido o # -*- coding: xxxxxxx -*- então pode ajustar a função para:

# Verifica qual o codec do sistema atual (codec "padrão")
defaultcodec = xxxxxxx

O xxxxxxx seria o codec que deseja como padrão.

5
  • Muito obrigado. Deu esse erro: Commented 15/09/2017 às 19:59
  • ----> 3 defaultcodec = sys.getdefaultencoding().lower() 4 5 codec = cchardet.detect(str)['encoding'] NameError: name 'sys' is not defined Commented 15/09/2017 às 20:00
  • 1
    @ReinaldoChaves Importa o modulo sys. Vou editar a resposta
    – Syzoth
    Commented 15/09/2017 às 20:00
  • 1
    @ReinaldoChaves pronto editado, também expliquei aonde pode baixar o cchardet se não tiver em teu sistema.
    – Syzoth
    Commented 15/09/2017 às 20:01
  • Obrigado! Eu instalei cchardet antes. Deu certo quase tudo certo. Agora descobri que alguns campos dos metadados estão vazios em alguns PDFs, vou tentar criar um if para isso Commented 15/09/2017 às 20:06

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .