Eu estava querendo acessar uma página que se obtém ao clicar em "Exibe todos os documentos acima" nesse link. A empresa que eu peguei é só um exemplo, não tenho interesse nela.
Tentei resolver isso por meio de uma requisição POST, e consegui o resultado que queria usando a biblioteca requests
do python. Código em python abaixo:
import requests
link = "http://siteempresas.bovespa.com.br/consbov/ExibeTodosDocumentosCVM.asp?CNPJ=02.541.982/0001-54&CCVM=22551&TipoDoc=C&QtLinks=10"
r = requests.get(link)
dados={'hdnCategoria':'0', 'hdnPagina':'', 'FechaI':'', 'FechaV':''}
r1 = requests.post(link, data=dados, cookies=r.cookies)
print r1.text
Tentei rodar os seguintes códigos no R, um usando RCurl
:
library(RCurl)
link <- "http://siteempresas.bovespa.com.br/consbov/ExibeTodosDocumentosCVM.asp?CNPJ=02.541.982/0001-54&CCVM=22551&TipoDoc=C&QtLinks=10"
curl <- getCurlHandle()
r <- getURL(link, curl=curl)
r1 <- postForm(link, hdnCategoria='0', hdnPagina='', FechaI='', FechaV='', .encoding='UTF-8', curl=curl)
cat(r1)
e outro usando httr
(que pelo que sei é só um wrapper do RCurl
):
library(httr)
link <- "http://siteempresas.bovespa.com.br/consbov/ExibeTodosDocumentosCVM.asp?CNPJ=02.541.982/0001-54&CCVM=22551&TipoDoc=C&QtLinks=10"
h <- handle(link)
dados=list(hdnCategoria='0', hdnPagina='', FechaI='', FechaV='')
r1 <- POST(handle=h, body=dados, encoding='UTF-8')
cat(content(r1, 'text'))
a) Por quê as duas alternativas em R retornam a página original e não o resultado de clicar em "Exibe todos os documentos acima"?
b) O que a biblioteca do python tem "a mais", que faz ela funcionar de forma tão simples?
PS: Para essa pergunta, não gostaria de usar mechanize
, selenium
, outras bibliotecas do python, etc. Queria resolver em R, preferencialmente com httr
e, se não der, com RCurl
. Existe também uma alternativa nova, o rvest
, mas não conheço muito bem e não sei se faz sentido usar nesse caso específico.