Há algum modo eficiente de reconhecer o encoding de textos baixados da internet? Fiz um scraping de um site qualquer (ver código abaixo) e não consigo encontrar o encoding correto.
Na tag META do código fonte a especificação é "iso-8859-1" (latin1). Mas quando especifico essa configuração, continua não dando certo...
library(XML); library(httr)
url = "http://www.encontroabcp2014.cienciapolitica.org.br/site/anaiscomplementares?AREA=8"
site_gt = content(GET(url))
resumos_gt = xpathSApply(site_gt,'//div[@style="display:none;"]', xmlValue)
resumos_gt[1]
Nesse resultado, obtenho algo como: "Estudos Legislativo no Brasil têm concentrado suas pesquisas nos âmbito federal e estadual"
. Como fazer têm
se transformar em também
e âmbito
se transformar em âmbito
?
Tentei tudo o que me veio à cabeça. E nada funcionou:
iconv(resumos_gt[1], from="UTF-8", to = "latin1")
iconv(resumos_gt[1], from="UTF-8", to = "latin2")
iconv(resumos_gt[1], from="UTF-8", to = "iso-8859-15")
iconv(resumos_gt[1], from="UTF-8", to = "latin1//TRANSLIT")
iconv(resumos_gt[1], from="UTF-8", to = "latin2//TRANSLIT")
iconv(resumos_gt[1], from="UTF-8", to = "iso-8859-15//TRANSLIT")
iconv(resumos_gt[1], from="latin1", to = "UTF-8")
iconv(resumos_gt[1], from="latin2", to = "UTF-8")
iconv(resumos_gt[1], from="iso-8859-15", to = "UTF-8")
iconv(resumos_gt[1], from="latin1", to = "UTF-8//TRANSLIT")
iconv(resumos_gt[1], from="latin2", to = "UTF-8//TRANSLIT")
iconv(resumos_gt[1], from="iso-8859-15", to = "UTF-8//TRANSLIT")
####
iconv(resumos_gt[1], from="latin1", to = "ASCII")
iconv(resumos_gt[1], from="latin2", to = "ASCII")
iconv(resumos_gt[1], from="iso-8859-15", to = "ASCII")
iconv(resumos_gt[1], from="latin1", to = "ASCII//TRANSLIT")
iconv(resumos_gt[1], from="latin2", to = "ASCII//TRANSLIT")
iconv(resumos_gt[1], from="iso-8859-15", to = "ASCII")
iconv(resumos_gt[1], from="ASCII", to = "latin1")
iconv(resumos_gt[1], from="ASCII", to = "latin2")
iconv(resumos_gt[1], from="ASCII", to = "iso-8859-15")
iconv(resumos_gt[1], from="ASCII", to = "latin1//TRANSLIT")
iconv(resumos_gt[1], from="ASCII", to = "latin2//TRANSLIT")
iconv(resumos_gt[1], from="ASCII", to = "iso-8859-15//TRANSLIT")
####
iconv(resumos_gt[1], from="UTF-8", to = "ASCII")
iconv(resumos_gt[1], from="UTF-8", to = "ASCII//TRANSLIT")
iconv(resumos_gt[1], from="ASCII", to = "UTF-8")
iconv(resumos_gt[1], from="ASCII", to = "UTF-8//TRANSLIT")
####
iconv(resumos_gt[1], from="latin1", to = "latin2")
iconv(resumos_gt[1], from="latin1", to = "iso-8859-15")
iconv(resumos_gt[1], from="latin1", to = "latin2//TRANSLIT")
iconv(resumos_gt[1], from="latin1", to = "iso-8859-15//TRANSLIT")
iconv(resumos_gt[1], from="latin2", to = "latin1")
iconv(resumos_gt[1], from="latin2", to = "iso-8859-15")
iconv(resumos_gt[1], from="latin2", to = "latin1//TRANSLIT")
iconv(resumos_gt[1], from="latin2", to = "iso-8859-15//TRANSLIT")
iconv(resumos_gt[1], from="iso-8859-15", to = "latin1")
iconv(resumos_gt[1], from="iso-8859-15", to = "latin2")
iconv(resumos_gt[1], from="iso-8859-15", to = "latin1//TRANSLIT")
iconv(resumos_gt[1], from="iso-8859-15", to = "latin2//TRANSLIT")
Estou usando um R 3.2.5 em um Windows 7 (e sim... tenho que manter esse sistema operacional. Aparentemente, no linux esse problema não ocorre -- ou é mais fácil de resolver).
têm
étêm
, e nãotambém
. Se fossetambém
você veria as letrast a m b m
normalmente.Error in UseMethod("xpathApply") : no applicable method for 'xpathApply' applied to an object of class "c('xml_document', 'xml_node')"
.têm
étem
... hehe. Mas eu não consegui reproduzir esse erro que você encontrou com oxpathSApply
. A princípio, a funçãocontent
do pacote httr retorna um objeto que pode ser lido pela funçãoxpathSApply
do pacote XML.