- Stephen Cleary - Task.Run Etiquette Examples: Don't Use Task.Run in the Implementation
- Using ThreadPool.QueueUserWorkItem in ASP.NET in a high traffic scenarioUsing ThreadPool.QueueUserWorkItem in ASP.NET in a high traffic scenario
- ASP.NET MVC what threadpool is used for custom tasks?ASP.NET MVC what threadpool is used for custom tasks?
HTTP e'é um protocolo fundamentalmente sincronosíncrono. O cliente envia um pedido -> o servidor processa o pedido -> o servidor envia uma resposta -> o cliente recebe a resposta.
O objectivo ao desenvolver uma aplicacaoaplicação web em ASP.NET (classicoclássico, MVC, MVC Web API) e'é tentar processar o pedido numa so'só thread. Quantos mais mudancasmudanças de thread houver, pior sera'será a performance - sempre que se muda de thread, o CPU tem de guardar o estado actual duma thread (stack, program counter, etc), e recuperar o estado da outra thread. Este processo chama-se "context switch" e e'é um processo caro e pesado. E'É tempo que o processador gasta sem efectuar trabalho utilútil.
Sem await Task.Run
, o codigocódigo ficaria assim:
Neste caso, todo o codigocódigo corre de modo sincronosíncrono, na mesma thread.
Vamos visualizar o comportamento destas 2 solucoessoluções, quando temos 2 threads (X
e Y
) a servir 2 pedidos (R1
e R2
) que chegam ao servidor simultaneamente.
Como podemos ver, na versao assincronaversão assíncrona, a thread X
deferiu a execucaoexecução do algoritmo para a thread Y
, e a thread Y
deferiu para a thread X
. Isto acontece porque ASP.NET e Task.Run
usam a mesma ThreadPool. EntaoEntão, as threads interferem umas com as outras.
Devido ao overheadoverhead introduzido pelas mudancasmudanças de contexto, a versao "assincrona"versão "assíncrona" teve pior performance. Os dois pedidos saosão servidos mais rapidamente se processarmos tudo de modo sincronosíncrono.
Desvantagens da versao "assincrona"versão "assíncrona":
- "Context switches" desnecessariosdesnecessários
- Lixo desnecessariodesnecessário (devido ao uso do idioma async/await, o compilador gera uma maquinamáquina de estados para gerir a task)
- O algoritmo usado pelo ASP.NET destabiliza momentaneamente (porque
Task.Run
pediu uma thread emprestada "inesperadamente"). Este algoritmo calcula constantemente o rendimento do servidor e faz pequenas optimizacoesoptimizações de modo a aumentar este rendimento. Interferir com este algoritmo e'é.... indesejado. - Se o cliente desconectar, o servidor nao podera'poderá abortar o processamento do pedido, porque quebramos o fluxo sincronosíncrono.
PoremPorém, existe uma excepcaoexcepção! Ao contrariocontrário de operacoesoperações CPU-bound (operacoesoperações dependentes de trabalho de CPU, como calculos matematicoscálculos matemáticos, loops intensivos, etc), as operacoesoperações I/O-bound (operacoesoperações que dependem de comunicacaocomunicação externa, como chamadas a bases de dados, a web services, leitura de ficheiros em disco, etc) devem ser assincronasassíncronas!
Ao contrario do exemplo anterior, quando se usa I/O assincronaassíncrona, nenhuma das threads fica bloqueada. Em vez disso, as threads do processo ficam livres, e quando a operacaooperação I/O tiver completado, a "I/O completion port" recebe um sinal interrupt
vinda do hardware I/O. Pode-se pensar numa I/O completion port como uma thread lightweight dedicada apenas a I/O, e a nada mais.
Agora, como ambas as threads deferem a execucaoexecução para as completion ports, naonão interferem uma com a outra - ambas ficam verdadeiramente livres para processar outros pedidos, aumentando o rendimento e a escalabilidade do servidor.
Mas async I/O nao e'não é algo que possa ser simulado em C#.
await Task.Run(() => DB.ExecutarQueryBloqueante());
tera' aterá as mesmas desvantagens que o primeiro exemplo, em que se utilizou Task.Run
para correr o algoritmo. Este e'é um erro comum.
Async I/O tem que ser suportado pelas drivers nativas no caso das da bases de dados, ou pelo sistema operativo no caso de leitura de ficheiros em disco. Estas APIs devem expor metodos naométodos não bloqueantes (ex: DbCommand.ExecuteReaderAsync
, StreamReader.ReadAsync
). Estas APIs usam I/O completion ports, em vez de threads.
- Em ASP.NET, todos o trabalho cpu-bound deve ser processado de modo sincronosíncrono, sem criar novas threads nem deferir para a ThreadPool.
- Para operacoesoperações I/O, deve ser usada a API assincronaassíncrona (naonão-bloqueante), caso exista.
HTTP e' um protocolo fundamentalmente sincrono. O cliente envia um pedido -> o servidor processa o pedido -> o servidor envia uma resposta -> o cliente recebe a resposta.
O objectivo ao desenvolver uma aplicacao web em ASP.NET (classico, MVC, MVC Web API) e' tentar processar o pedido numa so' thread. Quantos mais mudancas de thread houver, pior sera' a performance - sempre que se muda de thread, o CPU tem de guardar o estado actual duma thread (stack, program counter, etc), e recuperar o estado da outra thread. Este processo chama-se "context switch" e e' um processo caro e pesado. E' tempo que o processador gasta sem efectuar trabalho util.
Sem await Task.Run
, o codigo ficaria assim:
Neste caso, todo o codigo corre de modo sincrono, na mesma thread.
Vamos visualizar o comportamento destas 2 solucoes, quando temos 2 threads (X
e Y
) a servir 2 pedidos (R1
e R2
) que chegam ao servidor simultaneamente.
Como podemos ver, na versao assincrona, a thread X
deferiu a execucao do algoritmo para a thread Y
, e a thread Y
deferiu para a thread X
. Isto acontece porque ASP.NET e Task.Run
usam a mesma ThreadPool. Entao, as threads interferem umas com as outras.
Devido ao overhead introduzido pelas mudancas de contexto, a versao "assincrona" teve pior performance. Os dois pedidos sao servidos mais rapidamente se processarmos tudo de modo sincrono.
Desvantagens da versao "assincrona":
- "Context switches" desnecessarios
- Lixo desnecessario (devido ao uso do idioma async/await, o compilador gera uma maquina de estados para gerir a task)
- O algoritmo usado pelo ASP.NET destabiliza momentaneamente (porque
Task.Run
pediu uma thread emprestada "inesperadamente"). Este algoritmo calcula constantemente o rendimento do servidor e faz pequenas optimizacoes de modo a aumentar este rendimento. Interferir com este algoritmo e'.... indesejado. - Se o cliente desconectar, o servidor nao podera' abortar o processamento do pedido, porque quebramos o fluxo sincrono.
Porem, existe uma excepcao! Ao contrario de operacoes CPU-bound (operacoes dependentes de trabalho de CPU, como calculos matematicos, loops intensivos, etc), as operacoes I/O-bound (operacoes que dependem de comunicacao externa, como chamadas a bases de dados, a web services, leitura de ficheiros em disco, etc) devem ser assincronas!
Ao contrario do exemplo anterior, quando se usa I/O assincrona, nenhuma das threads fica bloqueada. Em vez disso, as threads do processo ficam livres, e quando a operacao I/O tiver completado, a "I/O completion port" recebe um sinal interrupt
vinda do hardware I/O. Pode-se pensar numa I/O completion port como uma thread lightweight dedicada apenas a I/O, e a nada mais.
Agora, como ambas as threads deferem a execucao para as completion ports, nao interferem uma com a outra - ambas ficam verdadeiramente livres para processar outros pedidos, aumentando o rendimento e a escalabilidade do servidor.
Mas async I/O nao e' algo que possa ser simulado em C#.
await Task.Run(() => DB.ExecutarQueryBloqueante());
tera' a mesmas desvantagens que o primeiro exemplo, em que se utilizou Task.Run
para correr o algoritmo. Este e' um erro comum.
Async I/O tem que ser suportado pelas drivers nativas no caso das da bases de dados, ou pelo sistema operativo no caso de leitura de ficheiros em disco. Estas APIs devem expor metodos nao bloqueantes (ex: DbCommand.ExecuteReaderAsync
, StreamReader.ReadAsync
). Estas APIs usam I/O completion ports, em vez de threads.
- Em ASP.NET, todos o trabalho cpu-bound deve ser processado de modo sincrono, sem criar novas threads nem a ThreadPool.
- Para operacoes I/O, deve ser usada a API assincrona (nao-bloqueante), caso exista.
HTTP é um protocolo fundamentalmente síncrono. O cliente envia um pedido -> o servidor processa o pedido -> o servidor envia uma resposta -> o cliente recebe a resposta.
O objectivo ao desenvolver uma aplicação web em ASP.NET (clássico, MVC, MVC Web API) é tentar processar o pedido numa só thread. Quantos mais mudanças de thread houver, pior será a performance - sempre que se muda de thread, o CPU tem de guardar o estado actual duma thread (stack, program counter, etc), e recuperar o estado da outra thread. Este processo chama-se "context switch" e é um processo caro e pesado. É tempo que o processador gasta sem efectuar trabalho útil.
Sem await Task.Run
, o código ficaria assim:
Neste caso, todo o código corre de modo síncrono, na mesma thread.
Vamos visualizar o comportamento destas 2 soluções, quando temos 2 threads (X
e Y
) a servir 2 pedidos (R1
e R2
) que chegam ao servidor simultaneamente.
Como podemos ver, na versão assíncrona, a thread X
deferiu a execução do algoritmo para a thread Y
, e a thread Y
deferiu para a thread X
. Isto acontece porque ASP.NET e Task.Run
usam a mesma ThreadPool. Então, as threads interferem umas com as outras.
Devido ao overhead introduzido pelas mudanças de contexto, a versão "assíncrona" teve pior performance. Os dois pedidos são servidos mais rapidamente se processarmos tudo de modo síncrono.
Desvantagens da versão "assíncrona":
- "Context switches" desnecessários
- Lixo desnecessário (devido ao uso do idioma async/await, o compilador gera uma máquina de estados para gerir a task)
- O algoritmo usado pelo ASP.NET destabiliza momentaneamente (porque
Task.Run
pediu uma thread emprestada "inesperadamente"). Este algoritmo calcula constantemente o rendimento do servidor e faz pequenas optimizações de modo a aumentar este rendimento. Interferir com este algoritmo é.... indesejado. - Se o cliente desconectar, o servidor nao poderá abortar o processamento do pedido, porque quebramos o fluxo síncrono.
Porém, existe uma excepção! Ao contrário de operações CPU-bound (operações dependentes de trabalho de CPU, como cálculos matemáticos, loops intensivos, etc), as operações I/O-bound (operações que dependem de comunicação externa, como chamadas a bases de dados, a web services, leitura de ficheiros em disco, etc) devem ser assíncronas!
Ao contrario do exemplo anterior, quando se usa I/O assíncrona, nenhuma das threads fica bloqueada. Em vez disso, as threads do processo ficam livres, e quando a operação I/O tiver completado, a "I/O completion port" recebe um sinal interrupt
vinda do hardware I/O. Pode-se pensar numa I/O completion port como uma thread lightweight dedicada apenas a I/O, e a nada mais.
Agora, como ambas as threads deferem a execução para as completion ports, não interferem uma com a outra - ambas ficam verdadeiramente livres para processar outros pedidos, aumentando o rendimento e a escalabilidade do servidor.
Mas async I/O não é algo que possa ser simulado em C#.
await Task.Run(() => DB.ExecutarQueryBloqueante());
terá as mesmas desvantagens que o primeiro exemplo, em que se utilizou Task.Run
para correr o algoritmo. Este é um erro comum.
Async I/O tem que ser suportado pelas drivers nativas no caso das bases de dados, ou pelo sistema operativo no caso de leitura de ficheiros em disco. Estas APIs devem expor métodos não bloqueantes (ex: DbCommand.ExecuteReaderAsync
, StreamReader.ReadAsync
). Estas APIs usam I/O completion ports, em vez de threads.
- Em ASP.NET, todos o trabalho cpu-bound deve ser processado de modo síncrono, sem criar novas threads nem deferir para a ThreadPool.
- Para operações I/O, deve ser usada a API assíncrona (não-bloqueante), caso exista.
Async na Web
HTTP e' um protocolo fundamentalmente sincrono. O cliente envia um pedido -> o servidor processa o pedido -> o servidor envia uma resposta -> o cliente recebe a resposta.
O objectivo ao desenvolver uma aplicacao web em ASP.NET (classico, MVC, MVC Web API) e' tentar processar o pedido numa so' thread. Quantos mais mudancas de thread houver, pior sera' a performance - sempre que se muda de thread, o CPU tem de guardar o estado actual duma thread (stack, program counter, etc), e recuperar o estado da outra thread. Este processo chama-se "context switch" e e' um processo caro e pesado. E' tempo que o processador gasta sem efectuar trabalho util.
Por exemplo, imagine o codigo:
ProcessamentoInicial();
await Task.Run(AlgoritmoIntensivo);
ProcessamentoFinal();
- Com o
await
, estamos a libertar a thread do pedido HTTP (thread A
), e a executar o algoritmo numa thread da ThreadPool (thread B
). - Enquanto
B
estiver ocupada, athread A
fica livre para efectuar outro trabalho (servir outros pedidos que cheguem ao servidor, algum trabalho pendente na ThreadPool, etc) - Quando a
thread B
completar, o processamento final vai ser agendado para executar nathread A
novamente, e enviar a resposta ao cliente.
Sem await Task.Run
, o codigo ficaria assim:
ProcessamentoInicial();
AlgoritmoIntensivo(); //bloqueante
ProcessamentoFinal();
Neste caso, todo o codigo corre de modo sincrono, na mesma thread.
Vamos visualizar o comportamento destas 2 solucoes, quando temos 2 threads (X
e Y
) a servir 2 pedidos (R1
e R2
) que chegam ao servidor simultaneamente.
Como podemos ver, na versao assincrona, a thread X
deferiu a execucao do algoritmo para a thread Y
, e a thread Y
deferiu para a thread X
. Isto acontece porque ASP.NET e Task.Run
usam a mesma ThreadPool. Entao, as threads interferem umas com as outras.
Devido ao overhead introduzido pelas mudancas de contexto, a versao "assincrona" teve pior performance. Os dois pedidos sao servidos mais rapidamente se processarmos tudo de modo sincrono.
Desvantagens da versao "assincrona":
- "Context switches" desnecessarios
- Lixo desnecessario (devido ao uso do idioma async/await, o compilador gera uma maquina de estados para gerir a task)
- O algoritmo usado pelo ASP.NET destabiliza momentaneamente (porque
Task.Run
pediu uma thread emprestada "inesperadamente"). Este algoritmo calcula constantemente o rendimento do servidor e faz pequenas optimizacoes de modo a aumentar este rendimento. Interferir com este algoritmo e'.... indesejado. - Se o cliente desconectar, o servidor nao podera' abortar o processamento do pedido, porque quebramos o fluxo sincrono.
Async I/O
Porem, existe uma excepcao! Ao contrario de operacoes CPU-bound (operacoes dependentes de trabalho de CPU, como calculos matematicos, loops intensivos, etc), as operacoes I/O-bound (operacoes que dependem de comunicacao externa, como chamadas a bases de dados, a web services, leitura de ficheiros em disco, etc) devem ser assincronas!
Ao contrario do exemplo anterior, quando se usa I/O assincrona, nenhuma das threads fica bloqueada. Em vez disso, as threads do processo ficam livres, e quando a operacao I/O tiver completado, a "I/O completion port" recebe um sinal interrupt
vinda do hardware I/O. Pode-se pensar numa I/O completion port como uma thread lightweight dedicada apenas a I/O, e a nada mais.
Vejamos:
ProcessamentoInicial();
await BD.ExecutarQueryAsync();
ProcessamentoFinal();
Agora, como ambas as threads deferem a execucao para as completion ports, nao interferem uma com a outra - ambas ficam verdadeiramente livres para processar outros pedidos, aumentando o rendimento e a escalabilidade do servidor.
Mas async I/O nao e' algo que possa ser simulado em C#.
await Task.Run(() => DB.ExecutarQueryBloqueante());
tera' a mesmas desvantagens que o primeiro exemplo, em que se utilizou Task.Run
para correr o algoritmo. Este e' um erro comum.
Async I/O tem que ser suportado pelas drivers nativas no caso das da bases de dados, ou pelo sistema operativo no caso de leitura de ficheiros em disco. Estas APIs devem expor metodos nao bloqueantes (ex: DbCommand.ExecuteReaderAsync
, StreamReader.ReadAsync
). Estas APIs usam I/O completion ports, em vez de threads.
tl;dr
- Em ASP.NET, todos o trabalho cpu-bound deve ser processado de modo sincrono, sem criar novas threads nem a ThreadPool.
- Para operacoes I/O, deve ser usada a API assincrona (nao-bloqueante), caso exista.
Referencias: