0

Boa noite pessoal!

Estou fazendo um sistema em C# WindowsForms para validação de contas telefônicas modelo FEBRABAN V2.

Os arquivos normalmente tem entre 600Mb à 15Gb, por este motivo optei pelo uso do Parallel.ForEach, e realmente transformou a performance em um ganho gigantesco, coisas de 2h de validação caiu para meros 40s na leitura de quase 5 milhões de linhas.

Indo pro sistema.

//CLASSE PRINCPIAL DO SISTEMA

try
                    {
                        int? linhaTotal = File.ReadAllLines(catalogPath).Count();
                        Parallel.ForEach(File.ReadLines(catalogPath), (linha, pls, rownumber) =>
                        {
                            if (linha.Length == 350)
                            {
                                String line = linha.Substring(0, 1);
                                switch (line)
                                {
                                    case "0": logicaV2.ValidaHeader(Convert.ToInt32(rownumber + 1), linha, header); break;
                                    case "1": logicaV2.ValidaContaResumo(Convert.ToInt32(rownumber + 1), linha, contaResumo); break;
                                    case "2": logicaV2.ValidaEndereco(Convert.ToInt32(rownumber + 1), linha, enderecoPonta); break;
                                    case "3": retornoGeral = logicaV2.ValidaBilhetacao(Convert.ToInt32(rownumber + 1), linha, bilhetacao, listaErro, pkArquivo); break;
                                    //case "4": logicaV2.ValidaServico(sequencial, linha); break;
                                    //case "5": logicaV2.ValidaDescontos(sequencial, linha); break;
                                    //case "9": logicaV2.ValidaTrailler(sequencial, linha); break;
                                }
                            }
                            else
                            {
                                Console.WriteLine("Linha: {0}", rownumber);
                            }

                            //valorTotalFatura = retornoGeral.listaValor.Sum();
                        });
                    }
                    catch (AggregateException e)
                    {
                        Console.WriteLine("Erro Geral: {0} ", e);
                    }

//CLASSE NEValidadorV2 (onde são feitas as validações de cada tipo, só postei uma das 9 como exemplo)

V2DB001DataContext context = new V2DB001DataContext();
        Boolean isValid = true;
        Form1.objErros objErros = new Form1.objErros();

        Form1.objRetorno retornoGeral = new Form1.objRetorno();

        public decimal? valorLigacao = 0,
            valorTotal = 0;

#region VALIDA BILHETAÇÃO

        public Form1.objRetorno ValidaBilhetacao(int sequencial, String linha, List<T004_BILHETACAO> bilhetacao, List<T009_ERRO> listaErro, int? pkArquivo)
        {
            foreach (var item in bilhetacao)
            {
                String campo = linha.Substring((int)item.T004_POSICAO_INICIO, (int)item.T004_POSICAO_FIM);
                if (item.T004_DE_REGISTRO.Equals("TIPO_REGISTRO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? (campo.Equals("3") ? true : false) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("SEQUENCIAL_GRAVACAO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? (int.Parse(campo).Equals(sequencial) ? true : false) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DT_VENCIMENTO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        try
                        {
                            campo = campo.Substring(0, 4) + "-" + campo.Substring(4, 2) + "-" + campo.Substring(6, 2);
                            Convert.ToDateTime(campo);
                            isValid = true;
                        }
                        catch
                        {
                            isValid = false;
                        }
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("DT_EMISSAO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        try
                        {
                            campo = campo.Substring(0, 4) + "-" + campo.Substring(4, 2) + "-" + campo.Substring(6, 2);
                            Convert.ToDateTime(campo);
                            isValid = true;
                        }
                        catch
                        {
                            isValid = false;
                        }
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("ID_UNICO_RECURSO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("CNL_RECURSO_REFERENCIA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DDD"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? validaDDD(campo) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("NU_TELEFONE"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("CARACTERISTICA_RECURSO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DEGRAU_RECURSO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DT_LIGACAO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        try
                        {
                            campo = campo.Substring(0, 4) + "-" + campo.Substring(4, 2) + "-" + campo.Substring(6, 2);
                            Convert.ToDateTime(campo);
                            isValid = true;
                        }
                        catch
                        {
                            isValid = false;
                        }
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("CNL_LOCALIDADE_CHAMADA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("NO_LOCALIDADE_CHAMADA"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("UF_FONE_CHAMADO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? validaUf(campo) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("CO_NACIONAL_INTERNACIONAL"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? (campo.Trim().Equals("0") || campo.Trim().Equals("00") ? true : false) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("CO_OPERADORA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? validaCodOperadora(campo) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DE_OPERADORA"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("CO_PAIS_CHAMADO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? String.IsNullOrEmpty(campo.Trim()) ? true : validaCodInternacional(campo) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("AREA_DDD"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? String.IsNullOrEmpty(campo.Trim()) ? true : validaDDD(campo.Trim()) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("NU_FONE_CHAMADO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("CONJUGADO_CHAMADO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("DURACAO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("CATEGORIA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DE_CATEGORIA"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("HORARIO_LIGACAO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("TIPO_CHAMADA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("GRUPO_HOR_TARIFARIO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DE_HOR_TARIFARIO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("DEGRAU_LIGACAO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? (!String.IsNullOrEmpty(campo.Trim()) ? true : false) : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("SINAL_VALOR_LIGACAO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? (campo.Equals("+") || campo.Equals("-") ? true : false) : false);

                }
                else if (item.T004_DE_REGISTRO.Equals("ALIQUOTA"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("VALOR_LIGACAO"))
                {
                    if (campo.Length == item.T004_POSICAO_FIM)
                    {
                        if (campo.Trim().Length <= item.T004_POSICAO_FIM)
                        {
                            isValid = true;
                            valorLigacao = (decimal?)Convert.ToInt32(campo) / 100;
                            valorTotal += valorLigacao;
                            //Console.WriteLine("Linha: {0} Valor: {1} Total: {2}", sequencial, valorLigacao, valorTotal);
                            retornoGeral.listaValor.Add(valorLigacao);
                        }
                        else
                        {
                            isValid = false;
                        }
                    }
                    else
                    {
                        isValid = false;
                    }
                }
                else if (item.T004_DE_REGISTRO.Equals("CLASSE_SERVICO"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? true : false);
                }
                else if (item.T004_DE_REGISTRO.Equals("FILLER"))
                {
                    isValid = (campo.Length == item.T004_POSICAO_FIM ? ( String.IsNullOrEmpty(campo.Trim()) ? true : false) : false);
                }
                if (!isValid)
                {
                    bool valida = armazenaErro(listaErro, sequencial, pkArquivo, item.T004_OBSERVACAO, (bool)item.T004_FLAG_IMPEDITIVO);

                    isValid = true;
                }

            }

            retornoGeral.objRetornoErros = objErros;
            retornoGeral.valorTotal = valorTotal;

            return retornoGeral;
        }

        #endregion

Mas resumidamente, o processo é dividido entre meus dois núcleos... O problema é que um núcleo pode chegar no final do arquivo enquanto o outro está em outro lugar do arquivo, assim ele não consegue me retornar o VALOR FINAL EXATO, ele me retorna sempre aonde a última Thread é finalizada.

Gostaria de saber se existe alguma forma de sincronizar perfeitamente as Threads fazendo com que meu retorno seja o último dado sendo a última linha do meu documento.

6
  • Que threads? Não vi nenhuma no código.
    – Maniero
    12/05/2016 às 16:21
  • Até aonde eu sei, o Paralelismo divide o processo entre os processadores, se eu confundi o termo me desculpe. 12/05/2016 às 16:43
  • 1
    Não, nada garante que haverá esta separação. Como o acesso é feito no disco, o ganho vem do fato dele não ficar esperando pela carga. O código tem vários pequenas coisas que poderiam ser melhoradas, mas nada importante (tem muita redundância e coisas que simplesmente não estão sendo usadas. Uma boa revisão no código ajudaria muito. De qualquer forma não sei qual é a dúvida de fato. É pra ter uma ganho grande, mas de 2hs p/ 40s indica que tem algo errado ou no algoritmo anterior ou nesse. Só paralelizar não pode dar um ganho tão grande.
    – Maniero
    12/05/2016 às 16:48
  • De fato do código passado para este atual eu efetivei várias alterações, mas só tive um ganho bacana depois de usar Paralelismo. No final eu tenho que verificar se o valor total da bilhetação é igual à ultima linha do TXT, porém a minha lista está retornando linhas aleatórias, por exemplo, meu arquivo de teste tem 31115 linhas, ao invés de me retornar este total ele me retorna 31112, 31109 e nunca a última linha, tentei executar com TASK e Task.WhenAll() e da mesma forma continua me trazendo desta forma, gostaria que me retornasse a ULTIMA LINHA. XD 12/05/2016 às 17:39
  • Tem bastante redundância, pois eu não separei totalmente em classes o projeto e também à vários campos para serem validados de forma separadas. 12/05/2016 às 17:41

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .