0

possuo um arquivo com quase 700mb que possui inúmeras linhas com Json dentro do mesmo. Preciso tratar linha-a-linha cada json e inserí-los no meu banco de dados.

A questão é, hoje estou utilizando o seguinte código:

 using (StreamReader arquivo = new StreamReader(System.IO.File.OpenRead(file), Encoding.UTF8))
   {
       while (arquivo.Peek() > -1)
        {
            //tratamento do arquivo.
        }
   }

Como posso ler as linhas de maneira paralela para o processo ficar mais rápido?

3
  • Porque você não carrega ele de uma só vez e trata direto em memória? Link1 - Para ler uma linha de cada vez, Link2 Commented 25/02/2016 às 17:59
  • O arquivo tem 700 MB, infelizmente são muitos arquivos. Não vou ter recurso disponível para tal.
    – Jhonathan
    Commented 25/02/2016 às 18:40
  • Dê uma olhada nesta thread do SOen-1. Olhe esse caso aqui também SOen-2 Commented 25/02/2016 às 19:34

2 Respostas 2

1

Como você tem um arquivo de texto, onde as linhas podem ter tamanhos diferentes, você não vai ter uma forma eficiente de ler o arquivo em paralelo.

O que você pode fazer, no entanto, é ler as linhas sequencialmente, e realizar o seu processamento de forma paralela. Por exemplo, você pode usar o thread pool do System.Threading, ou usar um pool próprio para tal, onde você colocaria as linhas a serem processadas em uma fila, e a medida que há um thread livre, ele pegaria a próxima linha a ser processada:

public void ProcessaArquivo(string file)
{
    using (StreamReader arquivo = File.OpenText(file))
    {
        string linha;
        while ((linha = arquivo.ReadLine()) != null)
        {
            ThreadPool.QueueUserWorkItem(ProcessaLinha, linha);
        }
    }
}

private void ProcessaLinha(object parametro) {
    string json = (string)parametro;
    // realiza o processamento
}
0

Básicamente você cria uma fila para as linhas que foram lidas no arquivo, e então pode-se criar várias threads para processa-las, a leitura das linhas é rápida, o processo no BD mais lento, então...

Segue exemplo de código:

        Queue<string> linhas;
        private void LerLinhas()
        {
            linhas = new Queue<string>();
            string linha = null;
            StreamReader reader = new StreamReader("Arquivo", Encoding.Default);
            while ((linha = reader.ReadLine()) != null)
            {
                linhas.Enqueue(linha);
            }
            reader.Close();


        }

        private void Processa()
        {
            if (linhas != null)
                while (linhas.Count > 0)
                {
                    string linha = linhas.Dequeue();

                    //Processa Linha, BD, Etc... 
                }
        }

        private void IniciaProcesso()
        {
            Thread tLerLinhas = new Thread(LerLinhas);
            tLerLinhas.Start();

            Thread.Sleep(1000);
            int nThreads = 5;
            for (int i =0; i<nThreads;i++ )
            {
                Thread t = new Thread(Processa);
                t.Start();
            }

        }

basta chamar o método IniciaProcesso(), ele irá iniciar 5 threads de processamento das linhas. Você pode alterar a quantidade de threads, lembrando que várias pode até piorar o processamento pelo excesso de troca de contexto.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .