Qual a diferença entre os async, multithereading, paralelismo e concorrência?
Async
É o mesmo que assíncrono, essa palavra pode ser meio confusa, mas ela significa que a tarefa não será executada de imediato, ela será agendada e executada quando houver recursos e for conveniente.
Multithreading
É o ato de se executar múltiplas Threads, que fundamentalmente são blocos de código. Só é possível multithreading com paralelismo.
Paralelismo
É o ato de se executar processos "ao mesmo tempo".
O paralelismo pode ser:
Por divisão de tempo: Um processador executa um processo por um "quanta" de tempo e alterna para outro processo, e isso se repete para os processos que estão agendados pelo sistema operacional. Nesse tipo de paralelismo há uma ilusão de que estão sendo executados ao mesmo tempo. Quando não se usa o tempo todo do processador e é possível paralelizar tarefas desta maneira.
Com múltiplos processadores (paralelismo real): Cada processador executa um processo, todos (os processadores) ao mesmo tempo, normalmente com memória compartilhada, isso pode causar gargalo na memória, se seu uso for intenso. Existem soluções do tipo Multiple Channel
onde é possível acessar a memória também em paralelo, diminuindo o gargalo. Cada processador ainda usa divisão de tempo.
Concorrência
É quando há paralelismo, a palavra concorrência é uma analogia a "disputa por recursos".
É papel do supervisor (sistema operacional) administrar recursos conforme sua conveniência.
Nota: Máquinas virtuais são chamadas de Hypervisors pois são supervisores de supervisores.
Elas dependem da quantidade de núcleos do processador?
Certamente que sim, sistemas operacionais em geral são multi-tarefa, suportam processadores multi-core, e administram o uso desses recursos.
Nota: Hyperthreading é uma tecnologia onde o sistema operacional "enxerga" mais processadores do que realmente existem, qual a explicação? Esses processadores possuem uma tecnologia a qual permite que tarefas sejam agendadas de modo muito eficiente, estritamente falando, os processadores que o sistema operacional "enxerga" são na verdade agendadores de processo. Aplicações que fazem uso intenso de multithreading com muitos agendamentos ganham certa performance com isso (servidores que atendem muitos clientes é um exemplo).
Se eu fizer um programa em Visual Basic e abrir 33 instancias do mesmo, ele estaria executando em paralelo?
Sim, o sistema operacional faz esse trabalho para você caso abra mais de uma instância, é assim que ele é capaz de executar mais de um aplicativo ao mesmo tempo.
... seria 33 vezes mais rápido?
Não. Pois o tempo de execução é inversamente proporcional ao número de processadores reais.
Isso, considerando que seu programa usa o processador intensamente.
De fato, os 33 processos estariam disputando o tempo dos processadores reais.
Quando se usa muitas threads não há ganho real, pois o sistema irá gastar mais tempo agendando tarefas e realizando travas de acesso a recursos (mutex).
Nem Hyperthreading ajuda nesse caso.
... seria melhor que um programa executado uma única vez usando async em C#?
Só usar async não significa nada, é necessário implementar as 33 tarefas no mesmo programa, mesmo assim se fizer, não fará uma grande diferença, a vantagem de se fazer isso é compartilhar dados no mesmo processo. (sem uso de sockets ou IPC ou memória compartilhada, o que causa maior complexidade no desenvolvimento e depuração).
Existe ainda o conceito de cluster computacional
, que consiste em usar várias máquinas trabalhando em paralelo cada uma com seu sistema operacional. Esse é o tipo de paralelismo mais "rápido", porém é o mais caro e mais difícil de se manter sincronia entre processos.
Placas gráficas são um exemplo de arquitetura que usa bem o paralelismo, por exemplo um processador gráfico médio (para os padrões atuais tem clock da ordem de 1GHz, é menor que uma CPU, porém eles têm muitos núcleos.
Apesar de ser uma arquitetura diferente, é possível utilizar a GPU como processador, e tirar vantagem de seu poder computacional.
https://pt.wikipedia.org/wiki/OpenCL
https://pt.wikipedia.org/wiki/CUDA
Vale lembrar que é preciso uma análise para saber se seu processamento é paralelizável, isto é, se há dependência entre resultados intermediários.