O cenário da minha duvida é o seguinte: Tenho um sistema que lê um arquivo que possui em torno de 3 milhões de linhas, cada linha tem um separador, eu identifico cada item na linha, faço o devido tratamento que deve ser feito em cada um desses itens, e transformo cada linha em um objeto, sendo que este objeto mais tarde é adicionando em uma lista, que é salvo depois no banco de dados. As linhas que possuem defeito devem ir para outra lista para que um arquivo com as linhas defeituosas seja gerado.
O problema acontece quando a quantidade de linhas é por exemplo 5 milhões, ocasionando estouro de memória. Gostaria de saber se alguém já passou por isso, e como resolveu?