Essa é uma pergunta que provavelmente demandaria um livro para responder, mas tentar diminuir o escopo.
async
/await
para composição de métodos
Você tem um sistema cheio de pequenas funcionalidades e trechos que podem ser rodados com algum nível de paralelismo. Nessa situação, em vez de encher o código de Begin
/End
, melhor usar async
, await
e Task
por ser mais limpo e mais econômico. Esses comandos/classe fornecem toda uma infra-estrutura para encadeamento de comandos, e até mesmo a possibilidade de coreografia em nível de código ou de configuração.
O pulo do gato aí é lembrar que eles não resolvem problemas de paralelismo, apenas os formalizam. Uma vantagem indireta, como você mesmo percebeu, é que esse formalismo é mais econômico que (re)fazer todas essas funcionalidades na mão, fora que tendem a funcionar melhor que enfiar Task atrás de Task para processar sem se importar com os limites do sistema.
Thread
e System.Collections.Concurrent
para controle
Pode ser que o sistema que está desenvolvendo precisa operar de forma multi thread, porém a parte que paralela seja relativamente pequena e/ou exija algum tipo de monitoração ou controle. Enfiar centenas de threads/tasks para execução posterior (eventual?) pode exaurir os recursos do sistema, como você mesmo viu, fora que dificulta medir o progresso sem alguma forma de coordenação ou estatística central.
Nessa situação pode ser bem mais preferível fazer classes especialistas que coordenam filas de itens a processar, e classes outras, "processadoras", que consomem dados dessas filas, alimentando outras filas ou empilhando resultados. Em vez do encadeamento de trechos por async/await, código fixo e rijo.
Essa não é uma linha de desenvolvimento mais elegante que a primeira, e geralmente é um tipo de otimização prematura. O processamento dos itens continua indeterminístico (por conta do paralelismo), mas a criação de instâncias de filas e processadores passa para o determinismo, o que pode ser necessário.
Crash and burn, transacional coordenado ou transacional sem coordenação
Por fim, um depende muito importante diz respeito ao sentido de "em grande escala" mencionado acima.
Caso seja um tipo de processamento mais matemático, sem efeitos colaterais, que possa ser simplesmente reexecutado em caso de falhas, um sistema com async
/await
tende a ser preferível, pois a facilidade de composição é mais importante que a performance. Isso porque o paralelismo tende a aumentar a performance, mas não é mágico: a partir de certo ponto pode ficar pior que código sequencial, ou como percebeu, nem funcionar.
O mesmo para ambientes transacionais coordenados, quando o processamento gera efeitos colaterais, mas onde todas as APIs envolvidas são transacionais ou coordenáveis (TransactionScope). Nesses casos é preferível primeiro fazer o código que aguente rodar em paralelo do ponto de vista da transação que ficar otimizando cada leitura/escrita, mas eventualmente trechos em particular se mostrarão possíveis de paralelizar, e daí async
/await
/Task
vão entrar em cena normalmente. A preocupação é mais com colisões/deadlocks decorrentes do paralelismo, não o paralelismo em si.
Mas existe a situação rara e triste, que você está fazendo algo transacional, com efeitos colaterais, mas não tem transação compartilhada/coordenada em todos os pontos. Comandos externos, web services, automação... Nessas horas o foco deve ser em fazer código paranoico, que lide bem com falhas, execuções parciais e reexecuções sem duplicações, ou que ao menos consiga detectar essas situações em nível negocial. O tratamento de erro permeia o fluxo de código de tal maneira que ele fica na prática sequencial, e o paralelismo vira uma preocupação secundária.
Um alerta, talvez nada a ver
A propaganda o Entity Framework é ótima, e mesmo odiando essa API com todas as minhas forças, eu o utilizo em 100% dos meus projetos que envolvam banco dados. É uma boa API de unit of work.
O que a propaganda deixa de mencionar é que ela é uma API para units pequenas e works não concorrentes. EF com transações longas ou com muitos objetos é pedir para conhecer o inferno na terra. EF com concorrência, sozinho, beira a imprestabilidade.
Esse é um caso de um recurso compartilhado (dados no banco de dados) onde a API mais recomendada praticamente só oferece a solução tipo crash and burn, tudo ou nada.
Essa é uma resposta ainda genérica. Infelizmente é impossível entrar no detalhe sem conhecer o caso, a natureza da aplicação.
Importante notar que os estilos acima podem ser utilizados em pontos diversos do sistema. Na minha experiência o paralelismo tipo async
/await
é mais comum nos níveis mais baixos, quando operando no I/O, e nos níveis mais abstratos, negociais, esses comandos se tornam bem mais escassos, o paralelismo sendo substituído por objetos que cacheiam dados gerados assincronamente, e a utilização de eventos para notificação do progresso/conclusão de processamento assíncrono.