3

Seguindo a teoria dessa pergunta e resposta

Eu entendi que posso executar mais de um programa, certo?

Eu tenho um banco de dados com mais de 3.000 usuários para verificar, essa verificação funciona da seguinte forma, ele conecta na API do Twitter, verifica se a ID de um usuário existe, se não existe ele deleta do meu banco de dados.

As funções de CRUD estão OK pra mim.

Só que demora muito, muito mesmo pra verificar todos, gostaria de tentar implementar o conceito de threading

Mas estou sem a lógica por trás disso tudo:

Meu código no momento é este aqui:

from database import Database
from twitter import TwitterProfile

database = Database()

profile = TwitterProfile()

def select_user(database):
    query = "SELECT * FROM users WHERE status = 0 AND premium = 0"
    select_user = database.select(query)

    return select_user

def delete_user(database):
    for i in select_user(database):
        try:
            twitter_id = profile.get(i['username'])['id_str']
        except:
            username = i['username']
            database.delete('users', {
                'username': username
            })

            print(username, 'Is now deleted')

    return True

deleted = delete_user(database)

print(deleted)

Lembrando que eu não fiz um exemplo de implementação de thread, simplesmente por não saber fazer.

Gostaria de uma ajuda, eu já entendi o conceito (?), talvez :(

1 Resposta 1

4

Threading funcionaria nesse caso - já que a demora maior é a latência e o tempo de resposta da API do twitter.

Threading não funciona bem em Python em quase nenhum outro cenário, devido há uma série de outras coisas.

Mesmo para esse cenário, o ideal seria usar asyncio, e não threading - mas o ganho é muito pequeno, e o jeito de pensar para isso funcionar com asyncio muda muito da programação convencional -

Agora, threadings também tem suas pegadinhas e não são poucas - o recomendado aí é você usar o concurrent.futures - é um pacote da biblioteca padrão do Python, que dadas tarefas que você divida em funções, cria um número fixo de threads, e executa essas tarefas nas threads (sem precisar criar uma thread para cada tarefinha), e ainda tem mecanismos de sinalizar erros, etc....

No caso, o que vai ficar lento é a chamada à API do twitter ( vi agora, você usa um except sem nada ali - isso é péssimo - por que se der algum outro erro, tipo, a rede falhou no acesso a API, você apaga seu usuário local, mesmo quando ele ainda existe no twitter - você precisa verificar qual a exceção exata que acontece quando a API responde mas o usuário lá não existe, e capturar apenas ESSA exceção para executar o bloco que exclui um usuário - olhei rapidamente o Python twitter aqui, e parece que você pode fazer from twitter.error import TwitterError e usar except TwitterError - já melhora).

De qualquer forma, voltando ao concurrent.futures: quando você tem várias tarefas demoradas, você cria as tarefinhas que são chamadas de "futures" - o Python então vai executando essas tarefas nas várias threads, e usando a chamada concurrent.futures.as_completed você pega o resultado de cada tarefa. Mesmo se o resultado for uma execeção. Como o db local não é gargalo nesse caso, não tem por que fazer a chamada ao db em threads separadas, e arriscar erros por que objetos do tipo "cursor" podem ser alterados em mais de uma thread ao mesmo tempo.

Dito tudo isso, seu código pode ficar algo como (não vou testar aqui, então pode precisar de algum ajuste):

from database import Database
from twitter import TwitterProfile
from twitter.error import TwitterError
from concurrent.futures import ThreadPoolExecutor, as_completed

database = Database()

profile = TwitterProfile()

def select_user(database):
    query = "SELECT * FROM users WHERE status = 0 AND premium = 0"
    select_user = database.select(query)

    return select_user

def check_user(username):
    return profile.get(username)['id_str']

def delete_user(database):
    with ThreadPoolExecutor(max_workers=20) as executor:
        tasks = {executor.submit(check_user, user["username"]):user["usrername"] for user in select_user(database)}
        for task in as_completed(tasks):
            try:
                twitter_id = task.result()
            except (TwitterError, KeyError) as error:
                username = tasks[task]
                database.delete('users', {
                    'username': username
                })

                print(f"{username!r} is now deleted")
            except Exception as error:
                print("Problem acessing user profile: {tasks[task]!r}:\n", error)

    return True

deleted = delete_user(database)

print(deleted)

É interessante notar aí que o código que cria as tarefas é código Python normal - simplesmente uma chamada ao método .submit do objeto executor. Estou dizendo isso por que como usei um "dict comprehension" para fazer essas chamadas - tasks = {executor.submit(check_user, user["username"]):user["usrername"] for user in select_user(database)} pode parecer que essa sintaxe "diferente" é necessária para criar as tarefas. Essa sintaxe na verdade só cria um dicionário, amarrando cada tarefa (que é um objeto chamado "future") com uma string - o "username" - que pode ser usado na etapa seguinte. Só a chamada ao método submit já cria o future, e para o as_completed abaixo, qualquer iterável de Python que vá devolver objetos do tipo "future" serve.

(mudei mais algumas coisinhas aí - por exemplo, não faz sentido, em Python, chamar a variável do for de i- esse nome é um encurtamento de index e vem de linguagens onde só existe o for numérico, e o valor do for é usado como um índice para a sequência onde estão seus dados. Em Python, o for já percorre os elementos da sequência - então é melhor dar um nome que faça sentido pra variável)

4
  • acabei de constatar, esta funcionando, task.result() não existe, então ele cai no except e deleta todos os users. Essa linha except (TwitterError, KeyError) as error: pra mim não vai funcionar, pois quando eu me referi que conecto API do Twitter, era no login, pra pegar os dados dos usuários eu fiz utilizando a lib requests, à algguma maneira de concertar isso ?
    – user148010
    Commented 23/07/2019 às 19:01
  • 1
    é só troca ro twittererror pelo erro que vem do seu profile.get.
    – jsbueno
    Commented 23/07/2019 às 19:21
  • Opa agora sim, KeyError and IndexError, ou é conta que o usuário trocou o nome de usuário, ou é conta que foi suspensa. Essas duas exceptions são as que preciso por o delete, cara, obrigado mesmo, suas respostas estão todas de parabéns!!!
    – user148010
    Commented 23/07/2019 às 19:37
  • 1
    O "20" de max_workers foi um chute, se foi bem, talvez de pra aumentar.
    – jsbueno
    Commented 23/07/2019 às 20:05

Você deve fazer log-in para responder a esta pergunta.