Threading funcionaria nesse caso - já que a demora maior é a latência e o tempo de resposta da API do twitter.
Threading não funciona bem em Python em quase nenhum outro cenário, devido há uma série de outras coisas.
Mesmo para esse cenário, o ideal seria usar asyncio, e não threading - mas o ganho é muito pequeno, e o jeito de pensar para isso funcionar com asyncio muda muito da programação convencional -
Agora, threadings também tem suas pegadinhas e não são poucas - o recomendado aí é você usar o concurrent.futures
- é um pacote da biblioteca padrão do Python, que dadas tarefas que você divida em funções, cria um número fixo de threads, e executa essas tarefas nas threads (sem precisar criar uma thread para cada tarefinha), e ainda tem mecanismos de sinalizar erros, etc....
No caso, o que vai ficar lento é a chamada à API do twitter ( vi agora, você usa um except
sem nada ali - isso é péssimo - por que se der algum outro erro, tipo, a rede falhou no acesso a API, você apaga seu usuário local, mesmo quando ele ainda existe no twitter - você precisa verificar qual a exceção exata que acontece quando a API responde mas o usuário lá não existe, e capturar apenas ESSA exceção para executar o bloco que exclui um usuário - olhei rapidamente o Python twitter aqui, e parece que você pode fazer from twitter.error import TwitterError
e usar except TwitterError
- já melhora).
De qualquer forma, voltando ao concurrent.futures: quando você tem várias tarefas demoradas, você cria as tarefinhas que são chamadas de "futures" - o Python então vai executando essas tarefas nas várias threads, e usando a chamada
concurrent.futures.as_completed
você pega o resultado de cada tarefa. Mesmo se o resultado for uma execeção. Como o db local não é gargalo nesse caso, não tem por que fazer a chamada ao db em threads separadas, e arriscar erros por que objetos do tipo "cursor" podem ser alterados em mais de uma thread ao mesmo tempo.
Dito tudo isso, seu código pode ficar algo como (não vou testar aqui, então pode precisar de algum ajuste):
from database import Database
from twitter import TwitterProfile
from twitter.error import TwitterError
from concurrent.futures import ThreadPoolExecutor, as_completed
database = Database()
profile = TwitterProfile()
def select_user(database):
query = "SELECT * FROM users WHERE status = 0 AND premium = 0"
select_user = database.select(query)
return select_user
def check_user(username):
return profile.get(username)['id_str']
def delete_user(database):
with ThreadPoolExecutor(max_workers=20) as executor:
tasks = {executor.submit(check_user, user["username"]):user["usrername"] for user in select_user(database)}
for task in as_completed(tasks):
try:
twitter_id = task.result()
except (TwitterError, KeyError) as error:
username = tasks[task]
database.delete('users', {
'username': username
})
print(f"{username!r} is now deleted")
except Exception as error:
print("Problem acessing user profile: {tasks[task]!r}:\n", error)
return True
deleted = delete_user(database)
print(deleted)
É interessante notar aí que o código que cria as tarefas é código Python normal - simplesmente uma chamada ao método .submit
do objeto executor. Estou dizendo isso por que como usei um "dict comprehension" para fazer essas chamadas - tasks = {executor.submit(check_user, user["username"]):user["usrername"] for user in select_user(database)}
pode parecer que essa sintaxe "diferente" é necessária para criar as tarefas. Essa sintaxe na verdade só cria um dicionário, amarrando cada tarefa (que é um objeto chamado "future") com uma string - o "username" - que pode ser usado na etapa seguinte. Só a chamada ao método submit
já cria o future, e para o as_completed
abaixo, qualquer iterável de Python que vá devolver objetos do tipo "future" serve.
(mudei mais algumas coisinhas aí - por exemplo, não faz sentido, em Python, chamar a variável do for de i
- esse nome é um encurtamento de index
e vem de linguagens onde só existe o for numérico, e o valor do for é usado como um índice para a sequência onde estão seus dados. Em Python, o for já percorre os elementos da sequência - então é melhor dar um nome que faça sentido pra variável)