Eu gostaria de raspar uma página que está em https usando o pacote rvest
. No entanto, trata-se de um site com problemas no certificado de segurança. Nesses casos, é preciso desligar a verificação de SSL -- mas eu não sei como fazer isso nesse pacote. No RCurl
e no httr
é bem simples. Dou alguns exemplos abaixo
Essa é a página que pretendo raspar:
sucupira = "https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/producaoIntelectual/listaProducaoIntelectual.jsf"
Isso é o que eu estou querendo fazer:
library(rvest)
read_html(sucupira) #NAO FUNCIONA
## Error in open.connection(x, "rb") :
## Peer certificate cannot be authenticated with given CA certificates
Obviamente, apenas retirar o "s" do https não funciona:
sucupira2 = "http://sucupira.capes.gov.br/sucupira/public/consultas/coleta/producaoIntelectual/listaProducaoIntelectual.jsf"
read_html(sucupira2) #CONTINUA NAO FUNCIONANDO
No RCurl
, uma tentativa bem sucedida seria assim:
library(RCurl)
getURL(sucupira) # NAO FUNCIONA
options(RCurlOptions =
list(capath = system.file("CurlSSL",
"cacert.pem",
package = "RCurl"),
ssl.verifypeer = FALSE))
getURL(sucupira) # AGORA FUNCIONA
No httr
seria assim:
library(httr)
GET(sucupira) # NAO FUNCIONA
set_config( config( ssl_verifypeer = 0L ))
GET(sucupira) # AGORA FUNCIONA
Meu propósito é aprender a usar o rvest
. Então eu não gostaria, se possível, de usar estratégias do tipo:
read_html(GET(sucupira)) # a resposta do comando GET do httr é
# passada para o read_html do rvest
httr
) é uma tarefa diferente de "manipular um arquivo html" (rvest
). Meus web scrapers geralmente contêm a sequênciahttr::GET(x) %>% httr::content('text') %>% xml2::read_html() %>% rvest::html_XXX()