21

Qual a diferença entre os async, multithreading, etc.?

Elas dependem da quantidade de núcleos do processador?

Se eu fizer um programa em Visual Basic e abrir 33 instancias do mesmo, ele estaria executando em paralelo? seria 33 vezes mais rápido? seria melhor que um programa executado uma única vez usando async em C#?

Faço essas perguntas porque estou desenvolvendo um programa que teria a seguinte ordem de execução:

Início
|
Parse de um XML web (alguns milisegundos pra executar)
|
Download de imagens da web (5 imagens, alguns segundos)
|
Gravação no banco de dados (alguns milisegundos)
|
Fim

E esse ciclo iria se repetir milhares de vezes por dia.

Creio que em async ele rodaria uma dessas instâncias por processador? Se eu executasse esse programa (imaginando que fosse um console, ou Windows Forms) ele iria ter alguma produtividade?

OBS: Achei uma pergunta que é um bom caminho para minha resposta, porém acho que ainda está genérica demais para o meu problema, sobre executar várias vezes o mesmo programa.

0

3 Respostas 3

18

Processador

Nada disto depende dos núcleos do computador, diretamente.

Paralelismo verdadeiro depende de ter vários processadores (lógicos ou físicos). Sem o computador ter capacidade efetiva de processar mais de uma coisa ao mesmo tempo dá para obter a sensação de paralelismo sem que ele esteja ocorrendo simultaneamente de fato.

Quando só há uma linha de processamento o sistema operacional consegue dar uma fração de tempo para cada thread (divide entre todas threads rodando em todas aplicações. Ele vai trocando de uma para a outra. Quando uma é executada as demais param. Como essa mudança ocorre em intervalos de tempo bem pequenos a percepção é que todos estão rodando em paralelo, mesmo não sendo verdade.

Se o computador puder executar 4 linhas de processamento independentes ele poderá realmente ter 4 threads rodando ao mesmo tempo e essa troca de uma thread para outra ocorrerá da mesma forma, mas em 4 frentes diferentes, então aumenta a escala.

Abrir instâncias diferentes

Se abrir 33 instâncias e só tiver um processador (lógico) elas não serão paralelas de fato, mas executarão de forma quase simultânea. Todos começam mais ou menos juntas e se tiveram a mesma carga terminarão mais ou menos juntas, mas cada uma executou no seu momento.

Se tiver 4 núcleos no total e tudo for feito corretamente deve rodar mais ou menos 8 em cada núcleo. Dependendo do que estiver fazendo deve demorar pouco mais de um quarto do tempo para executar.

CPU bound X IO bound

Se o processamento for dependente quase exclusivamente do processador só faz sentido criar uma thread por processador disponível. Se criar mais provavelmente está desperdiçando recursos porque há um custo em ficar trocando de uma thread para outra. Quando mais colocar, pior fica.

Se o processamento depender muito de dispositivos de entrada e saída e o processador gastar muito tempo esperando estes dispositivos entregarem o que deseja, então mesmo que tenha um só processador haverá ganho em ter threads porque no tempo que uma thread estiver aguardando a entrada e saída de dados está ocorrendo. Tem mais detalhes em pergunta linkada abaixo.

Criar threads sempre foi uma técnica para resolver gargalos de IO (input/output). O C# acabou criando tarefas para gerenciar melhor isso. Desta forma o programador não precisa entender todos os detalhes para fazer certo e a biblioteca sabe melhor se deve criar thread ou não, quantas delas e de que forma.

Assincronicidade e paralelismo

Isso ajuda criar operações assíncronas com await e async e paralelas, principalmente com a Task Parallel Library.

As operações assíncronas exigem apenas que algo comece executar sem bloquear o que está sendo feito e quando tiver algo para executar ele volta de onde parou. Isso costuma resolver bem esse problema de entrada e saída. A assincronicidade não exige que nada rode em paralelo, que tenha thread nada disso, se tiver que usar algo assim, a biblioteca de Task vai fazer por você.

Seu caso

Você pode fazer o parse do XML, em tese mais processamento, simultaneamente com os downloads de imagens, todas em "paralelo", e gravação também pode ter algum ganho. Claro que uma tarefa que depende de outras terá que esperar essas outras executarem. Não quebramos a lei da física :)

Conclusão

Sugiro estudar bem o assunto de async e tentar aplicar da melhor forma possível. É um assunto cheio de detalhes, mas que pode dar um retorno incrível. Claro que não posso falar de casos que não conheço. Tem muito caso que você pode até imaginar o ganho, mas só testando para ter certeza. Várias vezes eu me surpreendi para bem ou para mal quando vi o resultado. Com a experiência você "chuta" melhor o que vai acontecer com a performance.

A pergunta está genérica demais, então a resposta também será. Quando tiver problemas mais concretos, estiver fazendo mesmo, aí poderá fazer perguntas mais específicas. veja os vários exemplos. Se quiser aprender mesmo seria bom estudar com livros sobre o assunto de multiprocessamento em geral e no .NET.

Note que nem falei de concorrência que pode ou não ocorrer quando existem várias linhas de processamento (pseudo)simultâneas.

Leitura complementar:

Coloquei no GitHub para referência futura.

2
  • ok, obrigado pelos vários links ainda vou estudar e entender toda sua resposta, porém lembro que o download mais demora por limitações da rede do que CPU, então nesse caso um paralelismo ao extremo acho que vale a pena, mesmo tendo 4 núcleos um pc.
    – Dorath
    Commented 8/10/2016 às 0:55
  • Nesse caso o paralelismo fará pouca ou nenhuma diferença. A assincronicidade é o importante.
    – Maniero
    Commented 8/10/2016 às 0:56
11

Eu queria enriquecer um pouco mais a discussão e evitar confusões de teoria:

Processos, Threads e SO

Escalonador de Processos, grosseiramente falando, é o mecanismo organiza por quanto tempo qual processo vai ocupar a CPU e em qual ordem, seguindo uma fila de prioridade.

O sistema operacional escalona processos, e em cada processo tem uma ou mais threads. O que acontece é que conforme o processador vai escalonando entre os processos, uma das threads desse processo é necessariamente executada. Isso faz parecer que ele manipula as threads, o que não é verdade. Entenda porque essa diferença é importante:

Imagine dois processos rodando com diferentes número de threads e com mesma prioridade:

  • processo1 = 1000 threads (thread1, thread2, ..., thread1000)
  • processo2 = 1 thread (thread1001)

Se o processador estiver rodando a thread1 do processo1, a probabilidade escalonar para a thread1001 do processo2 na próxima troca de processo é 100%. Como ele escalona processos, ele vai trocar pro processo2 e necessariamente rodar a thread1001. Se ele escalonasse threads, threads teriam prioridades, ele teria 1/1000 ou 0.001% de chance de rodar a thread1001 e esse processo ia ser bem demorado por mais que seja leve.

O sistema operacional trabalha deste jeito para evitar que um processo com muitas threads tome o controle da CPU e os processos com poucas threads nunca sejam executados.

PS: O que eu falei acima não é 100% verdade porque existem as threads de núcleo (kernel thread), essas são threads que só o kernel pode criar e são tratadas à nível de processos. As threads que criamos programando são threads a nível-usuário (user-level thread).

Se quiser entender um pouco mais sobre esse processos e threads, recomendo a leitura de: Sistemas Operacionais, Tanenbaum

8
  • 1
    Ontem mesmo fiz uma implementação de afinidade de threads para escolher os cores que serão usados em paralelo na minha aplicação, o que não seria possível se fosse como você disse. Ou a informação não procede, ou faltou eu entender algum detalhe da terminologia que você usou. PS: entendo que a "fatia" de tempo é calculada por processos, obviamente, e não por thread individual, mas o sistema gerencia as duas coisas, não só os processos isoladamente.
    – Largato
    Commented 9/10/2016 às 23:49
  • Acima eu falei que uma das threads é necessariamente executada, mas não entrei em detalhes. Você pode escolher qual thread de um processo vai ocupar qual CPU, mas essa escolha vai ser setada acima do SO, sendo na JVM, CLR ou equivalente. Na visão da SO as threads de user-level não existem, pra ela só existem processos e ela tem que selecionar um pra ocupar a CPU. Aí, qual thread vai ser executada, uma vez selecionada o processo, vai depender da JVM, por exemplo, em conjunto com suas configurações.
    – guijob
    Commented 10/10/2016 às 1:06
  • 1
    Na verdade é setada pela API do OS mesmo, e ele gerencia tanto o rodizio dos processos quanto das threads. Isso não depende de nenhum tipo de runtime da linguagem. Inclusive eu fiz em C, gerando .exe nativo. Um dos testes foi colocar afinidade em um core numa thread, e rodar outras livres, e de fato a com afinidade ficou mais concorrida, como era de se esperar. As com afinidade ficaram com o slice mais prejudicado.
    – Largato
    Commented 10/10/2016 às 1:10
  • 2
    De qualquer forma, só quis entender melhor mesmo, grato pelo retorno. A parte de que não adianta encher de thread que o OS não vai te dar mais slices só por isso ficou bem clara.
    – Largato
    Commented 10/10/2016 às 1:17
  • 1
    Não tou falando de teoria. Se numa máquina quad core eu ponho afinidade para o core 1 em várias threads, elas vão disputar por 1/4 dos recursos que teriam sem afinidade, isso é meio óbvio. Normalmente elas seriam distribuidas. Com a afinidade, perdem o paralelismo real. Mas só comentei para entender melhor a postagem, não tenho interesse em estender demais. Inclusive, da edição original do livro até hoje, as coisas mudaram um pouco, apesar da essência ser a mesma.
    – Largato
    Commented 10/10/2016 às 1:23
5
+25

Qual a diferença entre os async, multithereading, paralelismo e concorrência?

Async

É o mesmo que assíncrono, essa palavra pode ser meio confusa, mas ela significa que a tarefa não será executada de imediato, ela será agendada e executada quando houver recursos e for conveniente.

Multithreading

É o ato de se executar múltiplas Threads, que fundamentalmente são blocos de código. Só é possível multithreading com paralelismo.

Paralelismo

É o ato de se executar processos "ao mesmo tempo".

O paralelismo pode ser:

  • Por divisão de tempo: Um processador executa um processo por um "quanta" de tempo e alterna para outro processo, e isso se repete para os processos que estão agendados pelo sistema operacional. Nesse tipo de paralelismo há uma ilusão de que estão sendo executados ao mesmo tempo. Quando não se usa o tempo todo do processador e é possível paralelizar tarefas desta maneira.

  • Com múltiplos processadores (paralelismo real): Cada processador executa um processo, todos (os processadores) ao mesmo tempo, normalmente com memória compartilhada, isso pode causar gargalo na memória, se seu uso for intenso. Existem soluções do tipo Multiple Channel onde é possível acessar a memória também em paralelo, diminuindo o gargalo. Cada processador ainda usa divisão de tempo.

Concorrência

É quando há paralelismo, a palavra concorrência é uma analogia a "disputa por recursos".

É papel do supervisor (sistema operacional) administrar recursos conforme sua conveniência.

Nota: Máquinas virtuais são chamadas de Hypervisors pois são supervisores de supervisores.

Elas dependem da quantidade de núcleos do processador?

Certamente que sim, sistemas operacionais em geral são multi-tarefa, suportam processadores multi-core, e administram o uso desses recursos.

Nota: Hyperthreading é uma tecnologia onde o sistema operacional "enxerga" mais processadores do que realmente existem, qual a explicação? Esses processadores possuem uma tecnologia a qual permite que tarefas sejam agendadas de modo muito eficiente, estritamente falando, os processadores que o sistema operacional "enxerga" são na verdade agendadores de processo. Aplicações que fazem uso intenso de multithreading com muitos agendamentos ganham certa performance com isso (servidores que atendem muitos clientes é um exemplo).

Se eu fizer um programa em Visual Basic e abrir 33 instancias do mesmo, ele estaria executando em paralelo?

Sim, o sistema operacional faz esse trabalho para você caso abra mais de uma instância, é assim que ele é capaz de executar mais de um aplicativo ao mesmo tempo.

... seria 33 vezes mais rápido?

Não. Pois o tempo de execução é inversamente proporcional ao número de processadores reais.

Isso, considerando que seu programa usa o processador intensamente.

De fato, os 33 processos estariam disputando o tempo dos processadores reais.

Quando se usa muitas threads não há ganho real, pois o sistema irá gastar mais tempo agendando tarefas e realizando travas de acesso a recursos (mutex).

Nem Hyperthreading ajuda nesse caso.

... seria melhor que um programa executado uma única vez usando async em C#?

Só usar async não significa nada, é necessário implementar as 33 tarefas no mesmo programa, mesmo assim se fizer, não fará uma grande diferença, a vantagem de se fazer isso é compartilhar dados no mesmo processo. (sem uso de sockets ou IPC ou memória compartilhada, o que causa maior complexidade no desenvolvimento e depuração).

Existe ainda o conceito de cluster computacional, que consiste em usar várias máquinas trabalhando em paralelo cada uma com seu sistema operacional. Esse é o tipo de paralelismo mais "rápido", porém é o mais caro e mais difícil de se manter sincronia entre processos.


Placas gráficas são um exemplo de arquitetura que usa bem o paralelismo, por exemplo um processador gráfico médio (para os padrões atuais tem clock da ordem de 1GHz, é menor que uma CPU, porém eles têm muitos núcleos.

Apesar de ser uma arquitetura diferente, é possível utilizar a GPU como processador, e tirar vantagem de seu poder computacional.

https://pt.wikipedia.org/wiki/OpenCL

https://pt.wikipedia.org/wiki/CUDA

Vale lembrar que é preciso uma análise para saber se seu processamento é paralelizável, isto é, se há dependência entre resultados intermediários.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .