13

Há algum modo eficiente de reconhecer o encoding de textos baixados da internet? Fiz um scraping de um site qualquer (ver código abaixo) e não consigo encontrar o encoding correto.

Na tag META do código fonte a especificação é "iso-8859-1" (latin1). Mas quando especifico essa configuração, continua não dando certo...

library(XML); library(httr)
url = "http://www.encontroabcp2014.cienciapolitica.org.br/site/anaiscomplementares?AREA=8"
site_gt = content(GET(url))
resumos_gt = xpathSApply(site_gt,'//div[@style="display:none;"]', xmlValue)
resumos_gt[1]

Nesse resultado, obtenho algo como: "Estudos Legislativo no Brasil têm concentrado suas pesquisas nos âmbito federal e estadual". Como fazer têm se transformar em tambéme âmbito se transformar em âmbito?

Tentei tudo o que me veio à cabeça. E nada funcionou:

    iconv(resumos_gt[1], from="UTF-8", to = "latin1")
    iconv(resumos_gt[1], from="UTF-8", to = "latin2")
    iconv(resumos_gt[1], from="UTF-8", to = "iso-8859-15")
    iconv(resumos_gt[1], from="UTF-8", to = "latin1//TRANSLIT")
    iconv(resumos_gt[1], from="UTF-8", to = "latin2//TRANSLIT")
    iconv(resumos_gt[1], from="UTF-8", to = "iso-8859-15//TRANSLIT")


    iconv(resumos_gt[1], from="latin1", to = "UTF-8")
    iconv(resumos_gt[1], from="latin2", to = "UTF-8")
    iconv(resumos_gt[1], from="iso-8859-15", to = "UTF-8")
    iconv(resumos_gt[1], from="latin1", to = "UTF-8//TRANSLIT")
    iconv(resumos_gt[1], from="latin2", to = "UTF-8//TRANSLIT")
    iconv(resumos_gt[1], from="iso-8859-15", to = "UTF-8//TRANSLIT")

    ####

    iconv(resumos_gt[1], from="latin1", to = "ASCII")
    iconv(resumos_gt[1], from="latin2", to = "ASCII")
    iconv(resumos_gt[1], from="iso-8859-15", to = "ASCII")
    iconv(resumos_gt[1], from="latin1", to = "ASCII//TRANSLIT")
    iconv(resumos_gt[1], from="latin2", to = "ASCII//TRANSLIT")
    iconv(resumos_gt[1], from="iso-8859-15", to = "ASCII")

    iconv(resumos_gt[1], from="ASCII", to = "latin1")
    iconv(resumos_gt[1], from="ASCII", to = "latin2")
    iconv(resumos_gt[1], from="ASCII", to = "iso-8859-15")
    iconv(resumos_gt[1], from="ASCII", to = "latin1//TRANSLIT")
    iconv(resumos_gt[1], from="ASCII", to = "latin2//TRANSLIT")
    iconv(resumos_gt[1], from="ASCII", to = "iso-8859-15//TRANSLIT")

    ####

    iconv(resumos_gt[1], from="UTF-8", to = "ASCII")
    iconv(resumos_gt[1], from="UTF-8", to = "ASCII//TRANSLIT")

    iconv(resumos_gt[1], from="ASCII", to = "UTF-8")
    iconv(resumos_gt[1], from="ASCII", to = "UTF-8//TRANSLIT")


    ####

    iconv(resumos_gt[1], from="latin1", to = "latin2")
    iconv(resumos_gt[1], from="latin1", to = "iso-8859-15")
    iconv(resumos_gt[1], from="latin1", to = "latin2//TRANSLIT")
    iconv(resumos_gt[1], from="latin1", to = "iso-8859-15//TRANSLIT")

    iconv(resumos_gt[1], from="latin2", to = "latin1")
    iconv(resumos_gt[1], from="latin2", to = "iso-8859-15")
    iconv(resumos_gt[1], from="latin2", to = "latin1//TRANSLIT")
    iconv(resumos_gt[1], from="latin2", to = "iso-8859-15//TRANSLIT")

    iconv(resumos_gt[1], from="iso-8859-15", to = "latin1")
    iconv(resumos_gt[1], from="iso-8859-15", to = "latin2")
    iconv(resumos_gt[1], from="iso-8859-15", to = "latin1//TRANSLIT")
    iconv(resumos_gt[1], from="iso-8859-15", to = "latin2//TRANSLIT")

Estou usando um R 3.2.5 em um Windows 7 (e sim... tenho que manter esse sistema operacional. Aparentemente, no linux esse problema não ocorre -- ou é mais fácil de resolver).

3
  • Só um detalhe: têm é têm, e não também. Se fosse também você veria as letras t a m b m normalmente.
    – Molx
    Commented 1/05/2016 às 18:26
  • Seu exemplo não rodou aqui: Error in UseMethod("xpathApply") : no applicable method for 'xpathApply' applied to an object of class "c('xml_document', 'xml_node')".
    – Molx
    Commented 1/05/2016 às 18:29
  • De fato, @Molx... têm é tem... hehe. Mas eu não consegui reproduzir esse erro que você encontrou com o xpathSApply . A princípio, a função content do pacote httr retorna um objeto que pode ser lido pela função xpathSApply do pacote XML.
    – RogerioJB
    Commented 1/05/2016 às 19:09

2 Respostas 2

10
library(XML); library(httr)

url = "http://www.encontroabcp2014.cienciapolitica.org.br/site/anaiscomplementares?AREA=8"

site_gt =  GET(url)

site_gt = content(site_gt, as = "text")

site_gt <- htmlParse(site_gt, encoding = "UTF-8")

resumos_gt = xpathSApply(site,'//div[@style="display:none;"]', xmlValue)

resumos_gt

Solução foi primeiro ler o conteúdo da página como texto, e só depois aplicar o htmlParse com encoding UTF-8

2
  • Obrigado @Denisson Silva. Deu certo aqui. Uma observação: no seu código, está faltando especificar o que é o objeto url
    – RogerioJB
    Commented 1/05/2016 às 19:13
  • 1
    Não ha de que @RogerioJB. Já incluir a especificação da url. Commented 2/05/2016 às 10:39
0

As vezes, o texto pode conter mais de uma língua, apresentando "mais de um encoding" como exemplo a seguir, você pode verificar com a função

stringi::stri_enc_detect(as.character(msg$body))

Encoding      Language Confidence
UTF-8                     1.00
ISO-8859-1       pt       0.49
ISO-8859-2       ro       0.28
UTF-16BE                  0.10
UTF-16LE                  0.10
ISO-8859-9       tr       0.10
Shift_JIS        ja       0.10
GB18030          zh       0.10
EUC-JP           ja       0.10
EUC-KR           ko       0.10
Big5             zh       0.10

no meu caso resolvi assumir que o encoding primário era 'UTF-8', e o secundário também era 'UTF-8', de certo no meu caso.

iconv(as.character(msg$body), from = "UTF-8", to = "UTF-8")

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .