Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas: import requests import pandas as pd import random from time import sleep mandados = [] i = 1 while i <= 5299: payload = { "criterio":{ "orgaoJulgador":{ "uf":"RJ", "municipio":"", "descricao":"" }, "orgaoJTR":{}, "parte":{ "documentos":[ {"identificacao":""} ] } }, "paginador":{"paginaAtual":i}, "fonetica":"true", "ordenacao":{"porNome":False,"porData":False} } url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar') r = requests.post(url, json=payload) sleep(random.uniform(0.2, 10)) mandados.append(r.json()['mandados']) print("Página: ", i) i = i+1 df = pd.DataFrame(mandados) df.info() df.to_csv('mandados_12_abr_2018_RJ.csv', index=False) Erro que aparece após algumas páginas: requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',)) Por favor, há alguma forma de evitar esse erro? Com threads é possível evitar o erro?