Qual a diferença entre os async, multithereading, paralelismo e concorrência?
Async
É o mesmo que assíncrono, essa palavra pode ser meio confusa, mas ela significa que a tarefa não será executada de imediato, ela será agendada e executada quando houver recursos e for conveniente.
Multithreading
É o ato de se executar múltiplas Threads, que fundamentalmente são blocos de código. Só é possível multithreading com paralelismo.
Paralelismo
É o ato de se executar processos "ao mesmo tempo".
O paralelismo pode ser:
Por divisão de tempo: Um processador executa um processo por um "quanta" de tempo e alterna para outro processo, e isso se repete para os processos que estão agendados pelo sistema operacional. Nesse tipo de paralelismo há uma ilusão de que estão sendo executados ao mesmo tempo. As vezesQuando não se usa o tempo todo do processador e é possível paralelizar tarefas desta maneira.
Com múltiplos processadores (Ou paralelismoparalelismo real): Cada processador executa um processo, todos (os processadores) ao mesmo tempo, normalmente com memória compartilhada, isso pode causar gargalo na memória, se seu uso for intenso. Existem soluções do tipo Multiple Channel
onde é possível acessar a memória também em paralelo, diminuindo o gargalo. Cada processador ainda usa divisão de tempo.
Concorrência
É quando há paralelismo, a palavra concorrência é uma analogia a "disputa por recursos".
É papel do supervisor (sistema operacional) administrar recursos conforme sua conveniência.
Nota: Máquinas virtuais são chamadas de Hypervisors pois são supervisores de supervisores.
Elas dependem da quantidade de núcleos do processador?
Certamente que sim, sistemas operacionais em geral são multi-tarefa, suportam processadores multi-core, e administram o uso desses recursos.
Nota: Hyperthreading é uma tecnologia onde o sistema operacional "enxerga" mais processadores do que realmente existem, qual a explicação? Esses processadores possuem uma tecnologia a qual permite que tarefas sejam agendadas de modo muito eficiente, estritamente falando, os processadores que o sistema operacional "enxerga" são na verdade agendadores de processo. Aplicações que fazem uso intenso de multithreading com muitos agendamentos ganham certa performance com isso (servidores que atendem muitos clientes é um exemplo).
Se eu fizer um programa em Visual Basic e abrir 33 instancias do mesmo, ele estaria executando em paralelo?
Sim, o sistema operacional faz esse trabalho para você caso abra mais de uma instância, é assim que ele é capaz de executar mais de um aplicativo ao mesmo tempo.
... seria 33 vezes mais rápido?
Não. Pois o tempo de execução é inversamente proporcional ao número de processadores reais.
Isso, considerando que seu programa usa o processador intensamente.
De fato, os 33 processos estariam disputando o tempo dos processadores reais.
Quando se usa muitas threads não há ganho real, pois o sistema irá gastar mais tempo agendando tarefas e realizando travas de acesso a recursos (mutex).
Nem Hyperthreading ajuda nesse caso.
... seria melhor que um programa executado uma única vez usando async em C#?
Veja bem, sóSó usar async não significa nada, é necessário implementar as 33 tarefas no mesmo programa, mesmo assim se fizer, não fará uma grande diferença, a vantagem de se fazer isso é compartilhar dados no mesmo processo.