Olá, pessoal. Durante o processo de Web Scraping, comecei a me deparar com alguns erros que ocorrem durante o processo de requisição. Atualmente, já identifiquei 4 tipos de erros mais frequentes:
Error in curl::curl_fetch_memory(url, handle = handle) :
Timeout was reached: Recv failure: Connection was reset
Error: Can only save length 1 node sets
Error in curl::curl_fetch_memory(url, handle = handle) :
Could not resolve host: www.tcm.ba.gov.br
Error in curl::curl_fetch_memory(url, handle = handle) :
Timeout was reached: Operation timed out after 20000 milliseconds with 0 bytes received
Esse último é provocado intencionalmente pela função timeout(20), que tem o objetivo de verificar se uma requisição está demorando mais de 20 segundas para ser concluída, o que pode ser um indício de erro durante a requisição.
A questão é: Como desenvolver um script/função no R (a exemplo da trycatch) para fazer a seguinte rotina:
-> Se, durante o processo de raspagem, ocorrer um erro (a exemplo de um dos 4 acima), repita a mesma requisição após 60 segundos, no máximo de 3 tentativas. Após as 3 tentativas, pule (next) para o próximo "i" do loop. Caso também retorne erro, retorne print("Erros consecutivos durante o Web Scraping").
(Plus): -> Seria MUITO TOP, se, em vez do print sugerido na última etapa acima, o script enviasse um aviso via email ou telegram para o "Administrador do Web Scraping" (no caso, eu), comunicando que o script teve que ser interrompido.
OBS1: Considerem que a função de requisição (httr::GET) está dentro de um loop for, como no exemplo simplificado colocado abaixo:
for (i in link) { httr::GET(i, timeout(20))}
OBS2: Como não sou da área de TI, estou com muita dificuldade em entender como funciona a parte de tratamento de erros no R e, consequentemente, em usar a função trycatch.
Desde já, grato pela ajuda.