7

Eu gostaria de raspar uma página que está em https usando o pacote rvest. No entanto, trata-se de um site com problemas no certificado de segurança. Nesses casos, é preciso desligar a verificação de SSL -- mas eu não sei como fazer isso nesse pacote. No RCurl e no httr é bem simples. Dou alguns exemplos abaixo

Essa é a página que pretendo raspar:

sucupira = "https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/producaoIntelectual/listaProducaoIntelectual.jsf"

Isso é o que eu estou querendo fazer:

library(rvest)
read_html(sucupira) #NAO FUNCIONA
 ##  Error in open.connection(x, "rb") : 
 ##  Peer certificate cannot be authenticated with given CA certificates

Obviamente, apenas retirar o "s" do https não funciona:

sucupira2 = "http://sucupira.capes.gov.br/sucupira/public/consultas/coleta/producaoIntelectual/listaProducaoIntelectual.jsf"

read_html(sucupira2) #CONTINUA NAO FUNCIONANDO

No RCurl, uma tentativa bem sucedida seria assim:

library(RCurl)
getURL(sucupira) # NAO FUNCIONA

options(RCurlOptions = 
      list(capath = system.file("CurlSSL", 
                                "cacert.pem", 
                                package = "RCurl"), 
           ssl.verifypeer = FALSE))

getURL(sucupira) # AGORA FUNCIONA

No httr seria assim:

library(httr)
GET(sucupira) # NAO FUNCIONA

set_config( config( ssl_verifypeer = 0L ))
GET(sucupira) # AGORA FUNCIONA

Meu propósito é aprender a usar o rvest. Então eu não gostaria, se possível, de usar estratégias do tipo:

read_html(GET(sucupira)) # a resposta do comando GET do httr é
                         # passada para o read_html do rvest
1
  • 1
    Você pode considerar que "acessar uma página" (httr) é uma tarefa diferente de "manipular um arquivo html" (rvest). Meus web scrapers geralmente contêm a sequência httr::GET(x) %>% httr::content('text') %>% xml2::read_html() %>% rvest::html_XXX() Commented 17/12/2015 às 0:30

2 Respostas 2

4

Isso não parece ser possível usando o pacote rvest.

Lendo o código fonte, vemos que a função read_html é um wrapper da função read_xml. O código fonte está disponível neste link.

A função read_xml usa algum método dependendo do tipo de input, que pode ser character, raw ou connection.

Quando passamos uma URL, para a função read_xml, ela o converte para uma conexão e em seguida o lê como um raw.

Abaixo está o método para conexões da função read_xml

read_xml.connection <- function(x, encoding = "", n = 64 * 1024,
                                verbose = FALSE, ..., base_url = "",
                                as_html = FALSE) {
  if (!isOpen(x)) {
    open(x, "rb")
    on.exit(close(x))
  }

  raw <- read_connection_(x, n)
  read_xml.raw(raw, encoding = encoding, base_url = base_url, as_html = as_html)
}

Veja que ele usa a função open do base.

Do help do open lemos:

Note that the https:// URL scheme is not supported by the internal method except on Windows. There it is only supported if --internet2 or setInternet2(TRUE) was used (to make use of Windows internal functions), and then only if the certificate is considered to be valid. With that option only, the http://user:pass@site notation for sites requiring authentication is also accepted.

Ou seja, https só é suportado em windows, se setInternet2(TRUE) for usado antes. Neste caso, só funcionaria se o certificado fosse válido.

Tudo isso p/ explicar que não existe uma forma nativa, ou uma simples mudança de argumento no rvest que permita ler páginas https.

Acredito que o melhor método seja mesmo read_html(GET(sucupira))que nem vc mesmo sugeriu. Ou mais bonitinho:

GET(sucupira) %>% read_html()

Se no método da função read_xml.connection você trocasse a linha open(x, "rb") por url(x,"rb", method = "libcurl") é provável que funcionasse...

1

Olá,

Apesar de já ter se passado muito tempo, é possível desabilitar a verificação do certificado no httr com efeito também no rvest.

Fiz assim:

library(httr)

set_config( config( ssl_verifypeer = 0L ))

# agora acesso o site
url <- 'https://cei.b3.com.br/CEI_Responsivo/'
sessao <- html_session(url)

Desta forma o rvest não reclamou do certificado.

HTH,

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .