DISCLAIMER: Postei a mesma pergunta no StackOverflow em inglês, vou transportar a resposta válida de cá pra lá ou de lá pra cá caso seja necessário, mas sei que não são todos os usuários daqui que acessam o StackOverflow em inglês, então tive a intenção de ampliar o raio de resposta :)
Problema
Estou tentando resolver este problema por dias.Temos um processo de importar registros de um arquivo csv para o banco de dados, através de uma página administrativa que reside em um projeto ASP.NET Web Forms (.NET 4.0).O processo era lento e fiquei responsável por torná-lo mais ágil. Comecei alterando a lógica interna, o que já deu um ganho significativo no desempenho.
Porém, se eu fizer upload de arquivos grandes (bem, relativamente grandes, de no máximo 3MB), eu tenho que esperar até que o processo de upload termine até que eu comece a importar, e eu não retorno nenhuma informação de progresso para o cliente enquanto eu faço isso. O processo em si não é tão demorado, leva de 5 a 10 segundos para completar, e sim, eu já pensei em criar uma Task
separada e utilizar polling para pingar o server, mas achei isso um canhão pra matar mosquito.
O que fiz até agora?
Então, para corrigir este problema, decidi ler o stream do request e importar os valores enquanto o faço. Criei um handler genérico (.ashx), e coloquei o código a seguir dentro do método void ProcessRequest(HttpContext context)
:
using (var stream = context.Request.GetBufferlessInputStream())
{
}
Primeiro eu removo os headers (cabeçalhos do request), e então eu leio o stream (através de um StreamReader
) até que eu encontre um CRLF (\r\n), converto a linha para o meu model, e continuo lendo o CSV. Quando eu obtenho 200 arquivos (ou até o fim do arquivo), eu atualizo todos de uma vez na base de dados. Então, continuo o processo obtendo mais registros até o fim do arquivo.
Isso parece funcionar, mas daí eu decidi responder via stream também. Primeiramente, eu desabilitei o BufferOutput:
context.Response.BufferOutput = false;
E então, adicionei estes headers à minha resposta (response)
context.Response.AddHeader("Keep-Alive", "true");
context.Response.AddHeader("Cache-Control", "no-cache");
context.Response.ContentType = "application/X-MyUpdate";
Daí, após enviar os 200 registros para a base, eu escrevo no response:
response.Write(s);
response.Flush();
s
é uma string de tamanho fixo de 256 chars. Eu sei que 256 chars nem sempre são iguais a 256 bytes, mas eu só queria ter a certeza de não escrever muralhas de texto de uma vez e estragar alguma coisa.
Eis o formato:
| pipeline (delimitador)
1 or 0 sucesso ou falha
; delimitador
mensagem de erro (se houver)
| pipeline (próximo delimitador)
Exemplo:
|0;"Preço inválido na linha 123"|1;|1;|0;"Id inválido na linha 127"|
No client-side, eu tenho isso aqui (apenas o trecho que faz o request):
function import(){
var formData = new FormData();
var file = $('[data-id=file]')[0].files[0];
formData.append('file', file);
var xhr = new XMLHttpRequest();
var url = "/Site/Update.ashx";
xhr.onprogress = updateProgress;
xhr.open('POST', url, true);
xhr.setRequestHeader("Content-Type", "multipart/form-data");
xhr.setRequestHeader("X-File-Name", file.name);
xhr.setRequestHeader("X-File-Type", file.type);
xhr.send(formData);
}
function updateProgress(evt){
debugger;
}
O que aconteceu :(
- Os dados não são enviados imediatamente para o client quando eu chamo
response.Flush
. Eu entendo que existe buffering do lado do cliente, mas mesmo assim parece não funcionar, mesmo quando eu envio um monte de lixo junto para passar por cima desse buffer. - Depois de certo tempo, depois de escrever muita coisa no
Response.Write
, o método ficará progressivamente lento até travar. A mesma coisa pode ocorrer noResponse.Flush
. Acredito que eu esteja deixando alguma coisa passar batida aqui... - Eu criei um projeto simples de webform para testar o que estou tentando fazer. Ele possui um handler genérico que vai retornar um número por segundo durante 10 segundos. Ele realmente atualiza (nem sempre na taxa de 1 segundo por atualização) e eu consigo ver progresso.
- Quando eu escrevo poucas linhas no response, o progresso é exibido (o evento é chamado), mas SEMPRE depois do processo estar quase terminando. O problema é que ao obter erros, eu escrevo estes erros no response. Ou seja, a mensagem fica maior do que quando tudo retorna sucesso, porque elas contêm as mensagens de erro.
Estou presumindo que se eu escrevo Response.Flush
não é uma garantia de 100% de que o que eu escrevi vá imediatamente para o client, certo? Ou o problema é o próprio client? Se for o client, por que o servidor trava quando eu chamo o Response.Write
muitas vezes?
Ficarei contente de prover mais informações caso julguem necessário.