Boas pessoal, recomendam o que para optimizar o codigo? multiprocessing ou multithreading? o script esta a correr em serie, mas tem varios for em serie.
Codigo completo: https://pastebin.com/WtD6XbVT
Boas pessoal, recomendam o que para optimizar o codigo? multiprocessing ou multithreading? o script esta a correr em serie, mas tem varios for em serie.
Codigo completo: https://pastebin.com/WtD6XbVT
Primeira vez que eu vou dar um pitaco nesse tipo de assunto. Com base nessa palestra da pycon desse ano, me parece que o seu problema é mais adequado para manipulação e checagem de str
.
Como é uma atividade que requer mais processamento do que espera de I/O (tirando a parte de relação com BD), multiprocessing faz mais sentido.
Mas como li o código muito rápido, pode ser que a extração dos dados (SQL puxa com base em views pesadas, ou algo similias) seja o que consome mais tempo, o que indicaria multithreading mas não parece o caso.
PS: dá para o código ficar mais pythonico e lean viu, mas vc não perguntou sobre isso ^_^.