2

Olá, pessoal. Durante o processo de Web Scraping, comecei a me deparar com alguns erros que ocorrem durante o processo de requisição. Atualmente, já identifiquei 4 tipos de erros mais frequentes:

    Error in curl::curl_fetch_memory(url, handle = handle) : 
      Timeout was reached: Recv failure: Connection was reset

    Error: Can only save length 1 node sets

    Error in curl::curl_fetch_memory(url, handle = handle) : 
      Could not resolve host: www.tcm.ba.gov.br

    Error in curl::curl_fetch_memory(url, handle = handle) : 
    Timeout was reached: Operation timed out after 20000 milliseconds with 0 bytes received

Esse último é provocado intencionalmente pela função timeout(20), que tem o objetivo de verificar se uma requisição está demorando mais de 20 segundas para ser concluída, o que pode ser um indício de erro durante a requisição.

A questão é: Como desenvolver um script/função no R (a exemplo da trycatch) para fazer a seguinte rotina:

-> Se, durante o processo de raspagem, ocorrer um erro (a exemplo de um dos 4 acima), repita a mesma requisição após 60 segundos, no máximo de 3 tentativas. Após as 3 tentativas, pule (next) para o próximo "i" do loop. Caso também retorne erro, retorne print("Erros consecutivos durante o Web Scraping").

(Plus): -> Seria MUITO TOP, se, em vez do print sugerido na última etapa acima, o script enviasse um aviso via email ou telegram para o "Administrador do Web Scraping" (no caso, eu), comunicando que o script teve que ser interrompido.

OBS1: Considerem que a função de requisição (httr::GET) está dentro de um loop for, como no exemplo simplificado colocado abaixo:

 for (i in link) { httr::GET(i, timeout(20))}

OBS2: Como não sou da área de TI, estou com muita dificuldade em entender como funciona a parte de tratamento de erros no R e, consequentemente, em usar a função trycatch.

Desde já, grato pela ajuda.

1 Resposta 1

1

Para resolver esse problema, e outros similares, você precisa fazer o tratamento de erros do script. Há basicamente duas formas de fazer isso:

1. tryCatch

2. pacote purrr


UTILIZANDO O tryCatch

Esse é um exemplo de minha própria prática:

for (i in 1:nrow(pg_amostra)) {

  pagina <- tryCatch({
    pagina = html_session(pg_amostra$http[i]) 
  }, warning = function(w) {
    print('Aviso!')
    Sys.sleep(0.3)
    pagina = html_session(pg_amostra$http[i])
  }, error = function(e) {
    print('Erro')
    texto <- ''
  }, finally = {
    Sys.sleep(0.3)
    texto <- html_nodes(pagina, css = '.corpoTextoLongo') %>%
      html_text()
  })

  print(i)

  assign(paste("texto", i, sep = ""), texto)
}

Aqui na tabela pg_amostra há informações sobre diversas páginas sendo que o url destas páginas está na coluna http.

SOLUÇÃO COM O purrr

Para o tratamento de erros eu tendo a sempre usar o purrr porque é simplesmente muito mais fácil. Nesse exemplo, também da minha própria prática, eu crio uma função que extrai um pedaço de texto de uma página.

pega_texto <- function(url) {

  texto <- read_html(url, encoding = 'iso-8859-1') %>%
  html_nodes(css = '.corpoTextoLongo') %>% html_text()
  pb$tick()
  return(texto)
}

NO ENTANTO, se o read_html() falhar o script inteiro pode parar. Assim eu vou "envolver" a função com o possibly() do purrr de forma a tratar possíveis erros gerando simplesmente um NA.

pega_texto <- possibly(.f = pega_texto, otherwise = NA_real_, quiet = T)

A partir de agora, se eu usar essa função e algum erro acontecer ela vai sempre retornar um NA. Depois, armazenando os resultados em uma tabela, ou eu vou ter um texto ou um NA. Basta refazer a pesquisa SOMENTE urls que retornaram NA.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .