1

Estou pesquisando sobre execução paralela em Python e fiquei com uma dúvida que ainda não achei resposta clara.

Digamos que eu queira multiplicar duas matrizes e adiciona em uma lista de tarefas onde cada tarefa é uma linha da matriz A e uma coluna da matriz B e peça que n threads retire desta lista uma tarefa para multiplicar.

Eu tenho 4 cores na máquina, utilizando o módulo threading.Thread do Python, se eu criar 4 theads para execução da lista de tarefas, essas threads serão executadas uma em cada core? Ou seja, paralelamente? Ou para isso eu precisaria utilizar o módulo multiprocessing que divide as tarefas em 1 processo para cada core?

Se somente com multiprocessing eu consigo distribuir as tarefas nos 4 cores, como faço para, por exemplo, definir 2 threads em cada processo ou seja cada core receberia 2 threads para processamento da minha tarefa?

5
  • 2
    Algo que já recomendo você pesquisar é sobre o GIL (Global Interpreter Lock), no Python, que resumidamente fala que o interpretador só pode ser utilizado por apenas uma thread por vez.
    – Woss
    Commented 3/11/2017 às 13:09
  • Você tentou algo? Adicione a sua pergunta o que você já tentou
    – R.Santos
    Commented 3/11/2017 às 13:09
  • Ainda não desenvolvi estou tentando entender como usar os 4 processadores da máquina com python, não sei se pelo fato de criar 4 threads automaticamente cada uma será executada em cada processador. Commented 3/11/2017 às 13:28
  • Na verdade, em Python puro, apenas uma thread é executada por vez, não importa quantos nucleos você tenha. Numpy já não é Python puro - e na verdade, ele já paraleliza esse tipo de operação em vários núcleos sozinho. Pra fins didáticos sim, tem bastante coisa pra falar aí. Tenho algumas respostas já sobre multiprocessamento com Python - vou dar uma olhada se alguma é equivalente a essa sua
    – jsbueno
    Commented 25/06/2020 às 17:52
  • ssas duas respostas tem bastante detalhe do que você precisa entender agora - tanto de como Python trabalha com multi-threading e multi-processing, como como fazer. pt.stackoverflow.com/questions/146417/… pt.stackoverflow.com/questions/197174/…
    – jsbueno
    Commented 25/06/2020 às 17:55

1 Resposta 1

1

A thread existe para permitir o processamento concorrente. Não há garantias que a execução será feita em processadores diferentes. É garantido que se tiver apenas a thread principal só executará em um processador. Dito isto, é provável que utilize todos os processadores disponíveis se tiver pelo menos uma thread para cada um deles. Neste caso rodará tudo em paralelo.

Na verdade essa é a melhor forma de se criar uma thread. Não gosto do seu uso quando na verdade só deseja assincronia de execução.

De forma geral você não tem controle onde será executado, no máximo pode estabelecer afinidade e prioridade, mas não sei se tem API que lide com isto. Tem para o processo.

Não sei mexer com threads em Python. Me lembro que tinha algum problema com o GIL, mas não entendo todas as consequências disso para dar mais detalhes.

Algumas pessoas preferem fazer isso em outro nível, em C por exemplo. Deve ter um motivo.

Se vai conseguir paralelizar de forma adequada é outra questão.

Veja isto para te ajudar tomar uma decisão: É sempre garantido que uma aplicação com múltiplas threads rode mais rápido que usando uma única thread?

2
  • Bacana esse que me indicou. Mas ainda não sei se criar 4 threads em python vai fazer com que cada um dos 4 processadores receberão uma thread para executar Commented 3/11/2017 às 13:30
  • 1
    Não - a VM do Python executa bytecode em apenas um núcleo por vez - o tal "Global Interpreter Lock" - só quando a execução chama uma função em código nativo, que libera o GIL, mais de um núcleo pode ser usado. Em Python, threads são apenas uma forma simplíssima de resolver paralelismo quando o problema é latência/espera de eventos de I/O. O Numpy no entanto já usa mais de um núcleo em suas computações sem precisar fazer mais nada.
    – jsbueno
    Commented 25/06/2020 às 19:34

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .