Tenho uma aplicação web em Asp.Net MVC com C# e recebi um novo requisito onde o objetivo é de ler um arquivo texto com milhares de linhas, cada linha contendo um conjunto de dados que serão utilizados para inserir e atualizar o banco de dados.
Minha dúvida é quais a melhores práticas a se adotar nesse desenvolvimento. Com a minha pouca experiência, sei que o grande volume de informação faz com que o processamento seja muito demorado, chegando a mais de hora e que acabe causando timeout. Acredito que apenas aumentar o timeout não seja a melhor solução.
Também preciso apresentar ao usuário a situação do processamento, preferencialmente em tempo real, qual seriam minhas opções?