Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela
Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas (No exemplo abaixo só pego casos do Estado "RJ"):
import requests
import pandas as pd
import random
from time import sleep
mandados = []
i = 1
while i <= 5299:
payload = {
"criterio":{
"orgaoJulgador":{
"uf":"RJ",
"municipio":"",
"descricao":""
},
"orgaoJTR":{},
"parte":{
"documentos":[
{"identificacao":""}
]
}
},
"paginador":{"paginaAtual":i},
"fonetica":"true",
"ordenacao":{"porNome":False,"porData":False}
}
url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar')
r = requests.post(url, json=payload)
sleep(random.uniform(0.2, 10))
mandados.append(r.json()['mandados'])
print("Página: ", i)
i = i+1
df = pd.DataFrame(mandados)
df.info()
df.to_csv('mandados_12_abr_2018_RJ.csv', index=False)
Erro que aparece após algumas páginas:
requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))
Por favor, há alguma forma de evitar esse erro?
Com threads é possível evitar o erro?