2

Tenho uma aplicação web em Asp.Net MVC com C# e recebi um novo requisito onde o objetivo é de ler um arquivo texto com milhares de linhas, cada linha contendo um conjunto de dados que serão utilizados para inserir e atualizar o banco de dados.

Minha dúvida é quais a melhores práticas a se adotar nesse desenvolvimento. Com a minha pouca experiência, sei que o grande volume de informação faz com que o processamento seja muito demorado, chegando a mais de hora e que acabe causando timeout. Acredito que apenas aumentar o timeout não seja a melhor solução.

Também preciso apresentar ao usuário a situação do processamento, preferencialmente em tempo real, qual seriam minhas opções?

2
  • 1
    Você pode considerar operações em bulk, como discutido nessa resposta: (pt.stackoverflow.com/a/9344/3084). Operações em bulk são disponibilizadas pelo próprio banco de dados e o objetivo é exatamente esse, fazer carga de grandes volumes de dados.
    – cantoni
    Commented 6/02/2016 às 12:29
  • Se eu entendi certo, o bulk seria para eu salvar os dados do arquivo texto em uma tabela do banco de dados. No meu caso, as "colunas" de cada linha não separadas por um carácter ou por tabulação(FIELDTERMINATOR), o que me parece ser um pré requisito para que o bulk funcione. Os arquivos seguem um leiaute próprio e não tenho a liberdade de alterar esse leiaute. Eu teria que primeiro editar linha a linha, acrescentando algo que separasse essas colunas. E também como ficariam as validações de cada campo? Eu posso validar o arquivo antes, mas ainda assim teria a questão do desempenho. Commented 6/02/2016 às 17:53

2 Respostas 2

2

Com a minha pouca experiência, sei que o grande volume de informação faz com que o processamento seja muito demorado, chegando a mais de hora e que acabe causando timeout. Acredito que apenas aumentar o timeout não seja a melhor solução.

Mas neste caso é. Por mais rápida que seja sua aplicação, acho interessante um timeout mais alto neste caso.

Também preciso apresentar ao usuário a situação do processamento, preferencialmente em tempo real, qual seriam minhas opções?

Ajax e uma barra de progresso bem bonita. Sugiro a NProgress.js.

2
  • Muito bacana esse NProgress, com certeza irei utilizar, senão nesse, em meus projetos. Quanto ao processamento do arquivo você então acredita que seja interessante aumentar o timeout? Supondo que eu não tenha como saber e eu realmente não tenho, quanto tempo seria o processamento, que leve 10 horas, realmente seria interessante eu ter um timeout de 12 ou mais horas? Não acho que o usuário queira esperar tudo isso. Quais seriam minhas opções para melhorar o desempenho do processo? Async com parallel? Commented 6/02/2016 às 18:01
  • Sim, pode deixar o maior tempo possível. Não creio que demore tanto o processamento de um arquivo com milhares de linhas. Async com parallel pode ser uma boa opção. Commented 7/02/2016 às 2:08
0

De uma olhada neste tutorial do Macoratti http://www.macoratti.net/vbn_prvd.htm e também neste link https://www.connectionstrings.com/textfile/

Eu fiz uma adaptação deste código e utilizo a propria biblioteca OLEDB do Windows para ler o arquivo. Uma vez criado a conexao, faço um select do arquivo e gero um DataTable em memória.

Uma vez carregado na memória, utilizo o Bulk para dar carga no Banco.

Fiz vários, e tem funcionado bem para arquivos de texto de formatos bem variados.

Dica importante: para isso funcionar, precisa que seja criado um arquivo Schema.ini na mesmo endereço do arquivo de origem. Este arquivo contém dados de configuração a biblioteca OLEDB conseguir ler o arquivo TXT.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .