Skip to main content
adicionou 49 caracteres ao conteúdo
Fonte Link
Reinaldo Chaves
  • 333
  • 2
  • 10
  • 26

Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela

Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas (No exemplo abaixo só pego casos do Estado "RJ"):

import requests
import pandas as pd
import random
from time import sleep

mandados = []
i = 1


while i <= 5299:
    payload = {
    "criterio":{
        "orgaoJulgador":{
            "uf":"RJ",
            "municipio":"",
            "descricao":""
        },
        "orgaoJTR":{},
        "parte":{
            "documentos":[
                {"identificacao":""}
             ]
         }
     },
     "paginador":{"paginaAtual":i},
     "fonetica":"true",
     "ordenacao":{"porNome":False,"porData":False}
          }

    url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar')

    r = requests.post(url, json=payload)
    sleep(random.uniform(0.2, 10))

    mandados.append(r.json()['mandados'])

    print("Página: ", i)
    i = i+1

df = pd.DataFrame(mandados)
df.info()

df.to_csv('mandados_12_abr_2018_RJ.csv', index=False)

Erro que aparece após algumas páginas:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))

Por favor, há alguma forma de evitar esse erro?

Com threads é possível evitar o erro?

Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela

Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas:

import requests
import pandas as pd
import random
from time import sleep

mandados = []
i = 1


while i <= 5299:
    payload = {
    "criterio":{
        "orgaoJulgador":{
            "uf":"RJ",
            "municipio":"",
            "descricao":""
        },
        "orgaoJTR":{},
        "parte":{
            "documentos":[
                {"identificacao":""}
             ]
         }
     },
     "paginador":{"paginaAtual":i},
     "fonetica":"true",
     "ordenacao":{"porNome":False,"porData":False}
          }

    url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar')

    r = requests.post(url, json=payload)
    sleep(random.uniform(0.2, 10))

    mandados.append(r.json()['mandados'])

    print("Página: ", i)
    i = i+1

df = pd.DataFrame(mandados)
df.info()

df.to_csv('mandados_12_abr_2018_RJ.csv', index=False)

Erro que aparece após algumas páginas:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))

Por favor, há alguma forma de evitar esse erro?

Com threads é possível evitar o erro?

Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela

Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas (No exemplo abaixo só pego casos do Estado "RJ"):

import requests
import pandas as pd
import random
from time import sleep

mandados = []
i = 1


while i <= 5299:
    payload = {
    "criterio":{
        "orgaoJulgador":{
            "uf":"RJ",
            "municipio":"",
            "descricao":""
        },
        "orgaoJTR":{},
        "parte":{
            "documentos":[
                {"identificacao":""}
             ]
         }
     },
     "paginador":{"paginaAtual":i},
     "fonetica":"true",
     "ordenacao":{"porNome":False,"porData":False}
          }

    url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar')

    r = requests.post(url, json=payload)
    sleep(random.uniform(0.2, 10))

    mandados.append(r.json()['mandados'])

    print("Página: ", i)
    i = i+1

df = pd.DataFrame(mandados)
df.info()

df.to_csv('mandados_12_abr_2018_RJ.csv', index=False)

Erro que aparece após algumas páginas:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))

Por favor, há alguma forma de evitar esse erro?

Com threads é possível evitar o erro?

Fonte Link
Reinaldo Chaves
  • 333
  • 2
  • 10
  • 26

Em raspagens grandes como evitar ConnectionError?

Em Python 3, eu tenho um programa para fazer web-scraping de tabelas em sites. Existem 5.299 páginas, em cada página há um tabela

Com XHR eu encontrei o JSON gerado em cada página. Mas sempre tem um erro de conexão após o programa vasculhar algumas páginas:

import requests
import pandas as pd
import random
from time import sleep

mandados = []
i = 1


while i <= 5299:
    payload = {
    "criterio":{
        "orgaoJulgador":{
            "uf":"RJ",
            "municipio":"",
            "descricao":""
        },
        "orgaoJTR":{},
        "parte":{
            "documentos":[
                {"identificacao":""}
             ]
         }
     },
     "paginador":{"paginaAtual":i},
     "fonetica":"true",
     "ordenacao":{"porNome":False,"porData":False}
          }

    url = ('http://www.cnj.jus.br/bnmp/rest/pesquisar')

    r = requests.post(url, json=payload)
    sleep(random.uniform(0.2, 10))

    mandados.append(r.json()['mandados'])

    print("Página: ", i)
    i = i+1

df = pd.DataFrame(mandados)
df.info()

df.to_csv('mandados_12_abr_2018_RJ.csv', index=False)

Erro que aparece após algumas páginas:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='www.cnj.jus.br', port=80): Max retries exceeded with url: /bnmp/rest/pesquisar (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb19d8d1eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))

Por favor, há alguma forma de evitar esse erro?

Com threads é possível evitar o erro?