1

Estou tentando criar um checador de proxy usando multithreading, esse é meu código:

import requests
import threading
from time import sleep
from colorama import Fore
url = 'http://google.com'

proxyList = list(open('proxies.txt').read().splitlines())

timeout = 2

def checarProxy(x):
    proxy = {
        'http': 'http://' + x
    }
    try:
        a = requests.get(url, proxies=proxy, timeout=timeout)
        print(' ' + Fore.GREEN + x)
        open('workingProxy.txt', 'a+').write(f'{x}\n')
    except:
        print(' ' + Fore.RED + x)


threads = []

for proxy in proxyList:
    threads.append(threading.Thread(target=checarProxy, args=(proxy,)))

for i in threads:
    sleep(0.025)
    i.start()

A unica maneira que consegui limitar as threads foi usando sleep, gostaria de saber se consigo limitar por números de threads, algo assim:

with maxThreads(10):
    for i in threads:
        i.start

Existe alguma maneira de fazer isso? ou estou usando multithreading de forma errada?

7
  • 1
    Esse sleep é meio "suspeito" ai. Precisa dele pra que? Outra coisa, se quer só 10 faça um range com 10 em vez de iterar todas. Ou um loop que ve quantas tem e starta mais uma se tiver menos que 10
    – Largato
    Commented 6/04/2019 às 17:16
  • Porém a minha lista de threads possui mais de 20000 threads, por isso que preciso saber se existe alguma maneira de fazer isso
    – João
    Commented 6/04/2019 às 17:17
  • 2
    Existem infinitas, e cada uma depende do seu objetivo. Mas pelo que vc falou de 20000 threads, ou vc está fazendo algo MUITO diferente, ou realmente está fazendo um péssimo uso delas (eu apostaria na 2a opção, mas sem vc dar mais detalhes não tenho certeza) - Muito provavelmente você deveria criar um pool menor de threads e distribuir as tarefas numa state machine ou coisa do tipo.
    – Largato
    Commented 6/04/2019 às 17:20
  • Vou colocar meu código completo então
    – João
    Commented 6/04/2019 às 17:21
  • Tente reduzir a um Exemplo Mínimo, Completo e Verificável, e explique melhor o objetivo do código que ajuda bastante.
    – Largato
    Commented 6/04/2019 às 17:23

1 Resposta 1

2

A solução mais direta é usar uma variável threading.Semaphore para contar quantas threads estão rodando no momento:

s = threading.Semaphore(10)
for i in threads:
    s.acquire()
    i.start()

Daí é só liberar essa variável depois de rodar a tarefa, no final da sua função:

def checarProxy(x):
    ...
    s.release()

O Semaphore.acquire() vai esperar uma thread terminar de forma que só tenham 10 rodando de cada vez. Diferente do time.sleep, vai sempre esperar o tempo exato.


Resolvido seu problema, segue uma dica: o seu código está usando threads para fazer um requests.get que é uma operação de IO, isso significa que o seu processador está criando todas essas threads pra esperar, elas não processam nada, só ficam esperando resposta de IO de um site remoto. Você está usando todos os recursos da sua máquina para nada a não ser esperar.

Eu sugiro dar uma olhada em programação assíncrona. Com programação assíncrona você usa operações de rede que não bloqueiam a execução do script. Assim você não precisa esperar o fim de uma solicitação para fazer outra, e isso sem usar threads. Tudo na mesma thread.

1
  • Vou tentar fazer usando programação assíncrona, o módulo mais "user friendly" seria o asyncio?
    – João
    Commented 7/04/2019 às 18:18

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .