-3

Fiz um programa de web scraping, porém os requests são muito lentos, modifiquei meu programa de uma maneira que se eu executar ele em diversas janelas ele funciona mais rápido, só que vira uma bagunça.

Existe alguma maneira de fazer isso em uma única janela?

exemplo do meu código: (é apenas para exemplo, e está escrito de forma não otimizada intencionalmente, gostaria de saber como melhorar a velocidade dos requests)

import random
import requests

numeros = ["1", "2", "3", "4", "5", "6", "7", "8", "9", "0"]

while True:
    cpf = "".join(random.choice(numeros) for i in range(11))
    r = requests.get(f"https://api.cpfcnpj.com.br/5ae973d7a997af13f0aaf2bf60e65803/9/{cpf}").json()
    if "CPF inválido!" in r:
        a = open("cpfinvalidos.txt", "a+")
        a.write(f"{cpf}\n")
        a.close()
    else:
        a = open("cpfvalidos.txt", "a+")
        a.write(f"{cpf}\n")
        a.close()
6
  • 2
    adicione exemplos de como seu codigo funciona para que seja mais facil entender o que vc esta fazendo
    – Leila
    Commented 19/03/2019 às 17:11
  • exemplo: é um programa que verifica cpf's válidos, ele possui uma lista com diversos cpf's e mostra qual deles são válidos
    – jvx8ss
    Commented 19/03/2019 às 17:17
  • 4
    Sem conhecer o real gargalo na performance não haverá como sugerir melhorias. Sem ver o código, então, impossível. Até porque não temos como garantir que está lento por limitações do Python ou por limitações do desenvolvedor.
    – Woss
    Commented 19/03/2019 às 17:22
  • agora creio que minha pergunta está completa, de uma olhada :)
    – jvx8ss
    Commented 19/03/2019 às 17:40
  • 2
    Não sei se a api que você está chamando é só para exemplo, mas se não for.. A maneira mais rápida de melhorar o seu código é fazer a validação do CPF/CNPJ no seu próprio código, sem chamado à API. O próprio @AndersonCarlosWoss tem uma resposta aqui no site com um validador de CPF. Commented 19/03/2019 às 18:02

1 Resposta 1

1

Há no seu código vários fatores que irão impactar diretamente na performance da aplicação sem que seja culpa direta do Python, mas apenas de má estruturação do código mesmo.

Primeiro, você define um laço de repetição infinito que, por definição, não tem fim e, portanto, seu código jamais parará de executar. Pior que isso, faz um laço infinito em uma condição de não deveria ser infinito. A quantidade de possíveis CPFs, isto é, sequências de 11 caracteres numéricos, é finita, então não há motivos para ficar infinitamente consultando de maneira aleatória.

Para contornar isso, você pode definir um gerador que definirá todos os possíveis CPFs e iterar sobre ele. O Python nativamente possui uma função para isso: itertools.combinations_with_replacement. Aliás, você não precisará testar todas as possibilidades, pois é sabido que os dois últimos dígitos do CPF são dígitos verificadores, então ao invés de você descobrir que o CPF não existe requisitando uma API externa - que é extremamente custoso para aplicação - você pode implementar você mesmo o validador dos dígitos. Outra abordagem seria gerar todas as possibilidades de CPF com apenas 9 dígitos e calcular quais seriam os dígitos verificadores e assim garantir que seja uma sequência válida.

Segundo, que você abre e fecha os arquivos para cada CPF analisado. O processo de abrir e fechar arquivos do disco também é uma tarefa bastante dispendiosa para a sua aplicação. Se você vai sempre trabalhar com os mesmos dois arquivos, por que, então, não abrí-los apenas de uma vez fora do laço de repetição?

with open('cpfs_validos.txt', 'a+') as validos, open('cpfs_invalidos', 'a+') as invalidos:
    for cpf in cpfs:
        ...

Terceiro e a mais importante, você depende exclusivamente de uma API externa. Não só como não está sob o seu controle como fazer requisições HTTP são bastante custosas. No seu caso fica ainda pior porque você faz apenas uma requisição de forma síncrona, isto é, enquanto sua aplicação não receber a resposta da API o programa irá ficar travado, sem ter o que fazer. Para melhorar esse processo você pode fazer uso de processos assíncronos utilizando o pacote asyncio e concomitante a isso poderá fazer múltiplas requisições simultâneas visto que elas passarão a ser assíncronas. Porém, mesmo implementando isso, você estará acorrentado às limitações da própria API. Muitas delas não se preocupam muito com tempo de resposta e algumas - principalmente gratuitas - limitam o número de requisições por tempo. Tudo isso fica a seu cargo cuidar.

Fazendo isso com certeza o tempo de execução da sua aplicação diminuirá muito, mas não garanto que para níveis que você espera. Se isso não acontecer, talvez valha a pena cogitar mudar de API para alguma mais performática ou até mudar de linguagem de programação.

2
  • Meu programa ja está otimizado, esse foi apenas um exemplo, meu problema é que os requests são muito lentas, por isso tenho que abrir diversas janelas para ir mais rapido
    – jvx8ss
    Commented 19/03/2019 às 18:18
  • 4
    @x8ss Se está otimizado já implementando tudo o que eu disse sua pergunta não reflete o problema real e deverá ser fechada por não ser reproduzível ou não clara, pois você omitiu informações triviais para a identificação do problema. Se ela não implementa tudo o que eu citei, no mínimo, ele não está otimizado.
    – Woss
    Commented 19/03/2019 às 18:20

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .