Veja na documentação que randrange
retorna um único número, e não faz sentido fazer um for
em um número. Daí o erro "'int' object is not iterable", já que um número - ou seja, um int
, que é o que randrange
retorna - não é iterável (não pode ser percorrido com um for
).
De qualquer forma, para que precisa ser aleatório? Simplesmente distribua os números do range
entre as threads.
O problema é que na função task
você está fazendo um loop, ou seja, todas as threads percorrem todos os valores do range
. Mas se cada thread vai fazer uma única requisição, então na verdade a função deveria receber o id como parâmetro. Algo assim:
def task(page_id):
pagina = f'https://forumexemplo.com/index.php?id={page_id}'
conteudo_pagina = s.get(pagina)
soup = BeautifulSoup(conteudo_pagina.content, 'html.parser')
# etc...
E aí você chamaria as threads, cada uma recebendo um id diferente para ser passado como argumento para a função task
:
threads = []
for i in range(99999):
# passa o número como argumento para a função task
t = threading.Thread(target=task, args=(i,))
threads.append(t)
t.start()
for t in threads:
t.join()
Assim, a primeira thread vai chamar task(0)
, a segunda chama task(1)
, etc.
O problema é que isso vai gerar 99999 threads. Mas pelo que entendi você quer limitar a quantidade de threads, então uma alternativa é usar um ThreadPool
:
import requests
from bs4 import BeautifulSoup
s = requests.Session()
def task(page_id):
pagina = f'https://forumexemplo.com/index.php?id={page_id}'
conteudo_pagina = s.get(pagina)
# retorna o id, a página e o soup
return page_id, pagina, BeautifulSoup(conteudo_pagina.content, 'html.parser')
from multiprocessing.pool import ThreadPool
import re
quote = re.compile(r'\bquote\b')
link = re.compile(r'\blink\b')
paginas = {}
# cria um pool com 10 threads
with ThreadPool(10) as pool:
# task é chamada para todos os valores do range(99999)
for page_id, pagina, soup in pool.imap_unordered(task, range(99999)):
if soup.find(string=quote) and soup.find(string=link):
print(f"página com o id:{page_id} é uma conversa")
paginas[pagina] = soup
else:
print(f"id: {page_id}")
Ao percorrer os resultados (que são retornados por imap_unordered
), a cada iteração os valores de page_id
, pagina
e soup
são aqueles retornados por uma das chamadas de task
.
Assim, você separa as responsabilidades e deixa o código mais organizado: na função task
você só processa uma única URL (um único id, no caso). O ThreadPool
se encarrega de distribuir os ids entre as threads. Depois, no for
, você pega os resultados de cada thread e analisa o que fazer com cada um (quando adicionar o soup
em paginas
, etc).
Repare também que a condição do if
mudou. Da forma que você fez antes ele não verifica se quote
e link
pertencem ao soup
. Como essas não são tags, entendo que sejam textos que estejam no meio das páginas. Sendo assim, a busca deve ser feita com find
, usando o argumento string
e uma regex (assim ele busca trechos que contenham essas palavras - sem regex, vc teria que passar uma string que corresponde a todo o conteúdo do elemento).
Caso não seja esta a busca que você quer fazer, sugiro que veja na documentação todas as formas de se fazer buscas no documento.
Outra alternativa é usar um ThreadPoolExecutor
:
import requests
from bs4 import BeautifulSoup
s = requests.Session()
def task(page_id):
pagina = f'https://forumexemplo.com/index.php?id={page_id}'
conteudo_pagina = s.get(pagina)
# retorna o id, a página e o soup
return page_id, pagina, BeautifulSoup(conteudo_pagina.content, 'html.parser')
from concurrent.futures import ThreadPoolExecutor, as_completed
import re
quote = re.compile(r'\bquote\b')
link = re.compile(r'\blink\b')
paginas = {}
# cria um pool que terá no máximo 10 threads
with ThreadPoolExecutor(max_workers=10) as executor:
results = []
for id in range(99999):
results.append(executor.submit(task, page_id=id))
for result in as_completed(results):
page_id, pagina, soup = result.result()
if soup.find(string=quote) and soup.find(string=link):
print(f"página com o id:{page_id} é uma conversa")
paginas[pagina] = soup
else:
print(f"id: {page_id}")