5

Problemas ao conectar há um determinado site via RStudio

 url <- "https://www.jusbrasil.com.br/diarios/busca?q=%22licen%C3%A7a+sem+vencimentos%22&idtopico=T10001849&o=data"
links <- read_html(url) %>% html_nodes('.DocumentSnippet') %>% html_nodes('a')

Gerando o seguinte erro:

Error in open.connection(x, "rb") : 
  Failed to connect to www.jusbrasil.com.br port 443: Connection refused

Acredito que seja a configuração do proxy no RStudio (ou no próprio R). Tentei as soluções abaixo, mas sempre houve o mesmo erro:

  1. Configuring R to Use an HTTP or HTTPS Proxy

  2. O código set_config(use_proxy(url = "meuproxy", port = "meuproxy", user="user" e password = "password")). Com o proxy e meu login e senha da rede.

Sei que o código funciona, pois testei no meu computador doméstico e consegui os links esperados.

3
  • 1
    Você tentou fazer algo deste tipo? GET("http://had.co.nz", use_proxy("64.251.21.73", 8080), verbose()) 29/05/2018 às 19:02
  • Com o site que você passou funciona normal, mas ao tentar algo simples como: t1 <- GET("http://had.co.nz/", use_proxy("10.10.120.59", 80, "flavio.matos", "password"), verbose()) links <- read_html(t1) %>% html_text() O resultado é "Notificação: Autorização de proxy necessária(...). Já quando tento o mesmo código para o site que preciso tenho o seguinte problema: Error in curl::curl_fetch_memory(url, handle = handle) : Received HTTP code 407 from proxy after CONNECT 30/05/2018 às 11:42
  • 1
    @FlavioSilva esse problema está associado a sua configuração de proxy sim. Por favor, qual é seu sistema operacional e versão? 8/04/2019 às 17:26

1 Resposta 1

1

Acesse esse site antes: https://www.jusbrasil.com.br/robots.txt lá tem as definições do que você pode ou não acessar.

Robots.txt: https://rockcontent.com/br/blog/robots-txt/

Essa resposta pode te ajudar: https://stackoverflow.com/questions/35690914/web-scraping-the-iis-based-website

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .