1

Estou desenvolvendo um script que gera diversas URLs de um certo fórum mas com o parâmetro "id" dentro de um grande loop. Depois ele salva essas URLs e então envia um request para cada uma.

Mas eu gostaria de agilizar o processo usando as threads. O meu código está assim:

#importa os modulos necessarios
import requests 
from bs4 import BeautifulSoup as bf
import threading
import random

paginas = {}
def task():
    #função que procura paginas, pega todas elas e coloca no dicionário     
    for x in random.randrange(99999):
        pagina = f'https://forumexemplo.com/index.php?id={x}'
        conteudo_pagina = s.get(pagina)
        soup = bf(conteudo_pagina.content, 'html.parser')
        
        #verifica se a pagina a ser analisada é de fato um tópico ou é apenas um redirecionamento.
        if 'quote' and 'link' in soup: 
            print("página com o id:{x} é uma conversa!\r\n")
            paginas[pagina] = soup
        else:
            print(f"id: {x}")


s = requests.Session()



#lista de threads
threads = []

#loop de criação de thread
for n in range(1,11):
    t = threading.Thread(target=task)
    threads.append(t)
    t.start()


#loop pelas threads esperando elas terminarem
for t in threads:
    t.join()



Porém estou tendo problemas em relação ao loop. As threads estão trabalhando em um único id de cada vez, portanto eu tenho um resultado parecido com:

id: 1
id: 1
id: 1
id: 1
id: 1
id: 1
id: 2
id: 1
id: 1
id: 2
id: 1
id: 2

Tenho várias threads trabalhando em um só id e gostaria de randomizar os IDs para que fique mais dinâmico. Porém, quando eu troco o for x in range(99999) para for x in random.randrange(1,99999), eu recebo o erro:

for x in random.randrange(1,99999):
TypeError: 'int' object is not iterable 

Alguém poderia me ajudar a entender o que está acontecendo?

1 Resposta 1

3

Veja na documentação que randrange retorna um único número, e não faz sentido fazer um for em um número. Daí o erro "'int' object is not iterable", já que um número - ou seja, um int, que é o que randrange retorna - não é iterável (não pode ser percorrido com um for).

De qualquer forma, para que precisa ser aleatório? Simplesmente distribua os números do range entre as threads.

O problema é que na função task você está fazendo um loop, ou seja, todas as threads percorrem todos os valores do range. Mas se cada thread vai fazer uma única requisição, então na verdade a função deveria receber o id como parâmetro. Algo assim:

def task(page_id):
    pagina = f'https://forumexemplo.com/index.php?id={page_id}'
    conteudo_pagina = s.get(pagina)
    soup = BeautifulSoup(conteudo_pagina.content, 'html.parser')
    # etc...

E aí você chamaria as threads, cada uma recebendo um id diferente para ser passado como argumento para a função task:

threads = []
for i in range(99999):
    # passa o número como argumento para a função task
    t = threading.Thread(target=task, args=(i,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

Assim, a primeira thread vai chamar task(0), a segunda chama task(1), etc.


O problema é que isso vai gerar 99999 threads. Mas pelo que entendi você quer limitar a quantidade de threads, então uma alternativa é usar um ThreadPool:

import requests 
from bs4 import BeautifulSoup

s = requests.Session()

def task(page_id):
    pagina = f'https://forumexemplo.com/index.php?id={page_id}'
    conteudo_pagina = s.get(pagina)
    # retorna o id, a página e o soup
    return page_id, pagina, BeautifulSoup(conteudo_pagina.content, 'html.parser')

from multiprocessing.pool import ThreadPool
import re

quote = re.compile(r'\bquote\b')
link = re.compile(r'\blink\b')
paginas = {}

# cria um pool com 10 threads
with ThreadPool(10) as pool:
    # task é chamada para todos os valores do range(99999)
    for page_id, pagina, soup in pool.imap_unordered(task, range(99999)):
        if soup.find(string=quote) and soup.find(string=link):
            print(f"página com o id:{page_id} é uma conversa")
            paginas[pagina] = soup
        else:
            print(f"id: {page_id}")

Ao percorrer os resultados (que são retornados por imap_unordered), a cada iteração os valores de page_id, pagina e soup são aqueles retornados por uma das chamadas de task.

Assim, você separa as responsabilidades e deixa o código mais organizado: na função task você só processa uma única URL (um único id, no caso). O ThreadPool se encarrega de distribuir os ids entre as threads. Depois, no for, você pega os resultados de cada thread e analisa o que fazer com cada um (quando adicionar o soup em paginas, etc).

Repare também que a condição do if mudou. Da forma que você fez antes ele não verifica se quote e link pertencem ao soup. Como essas não são tags, entendo que sejam textos que estejam no meio das páginas. Sendo assim, a busca deve ser feita com find, usando o argumento string e uma regex (assim ele busca trechos que contenham essas palavras - sem regex, vc teria que passar uma string que corresponde a todo o conteúdo do elemento).

Caso não seja esta a busca que você quer fazer, sugiro que veja na documentação todas as formas de se fazer buscas no documento.


Outra alternativa é usar um ThreadPoolExecutor:

import requests 
from bs4 import BeautifulSoup

s = requests.Session()

def task(page_id):
    pagina = f'https://forumexemplo.com/index.php?id={page_id}'
    conteudo_pagina = s.get(pagina)
    # retorna o id, a página e o soup
    return page_id, pagina, BeautifulSoup(conteudo_pagina.content, 'html.parser')

from concurrent.futures import ThreadPoolExecutor, as_completed
import re

quote = re.compile(r'\bquote\b')
link = re.compile(r'\blink\b')
paginas = {}

# cria um pool que terá no máximo 10 threads
with ThreadPoolExecutor(max_workers=10) as executor:
    results = []
    for id in range(99999):
        results.append(executor.submit(task, page_id=id))
    for result in as_completed(results):
        page_id, pagina, soup = result.result()
        if soup.find(string=quote) and soup.find(string=link):
            print(f"página com o id:{page_id} é uma conversa")
            paginas[pagina] = soup
        else:
            print(f"id: {page_id}")
2
  • 1
    Obrigado🙏🙏, abriu os meus olhos para pensar de uma forma mais simples e prática. 28/01/2022 às 6:07
  • Por questão de curiosidade, eu randomizo os valores para que as threads não trabalhem todas em um valor só (visto que eu não tinha conhecimento sobre o Thread Pool) XD 28/01/2022 às 6:08

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .