7

Estou fazendo a integração de um sistema com um arquivo bancário, e estou tendo um problema no processo. Recebo da operadora de cartão de crédito um arquivo de texto puro com aproximadamente 1300Kb e cerca de 5.500 linhas.

Estou fazendo a leitura deste arquivo e armazenando em um ClientDataSet, apenas em memória, não insiro no banco de dados em momento algum. No entanto estou achando que o processo de leitura está muito lento, uma vez que estou conseguindo gravar a uma taxa de cerca de apenas 13 linhas por segundo, não tenho muito experiência com ClientDataSet e não sei se está taxa está aceitável.

Para ler o arquivo eu importo o arquivo de texto para uma StringList, em seguida faço um loop com base na quantidade de linhas do arquivo, importando cada tipo de registro para o seu respectivo ClientDataSet (Dentro do arquivo podem ter 9 tipos de registros diferentes, e cada um coloco em um ClientDataSet diferente).

Loop no arquivo:

  EnableDisableControls(False);
  { Percorre todas as linhas do arquivo verificando o tipo e executando uma rotina para cada tipo de registro. }
  for I := 0 to (Extrato.Count - 1) do
  begin
    CurrentLine := I;
    case StrToInt(Copy(Extrato.Strings[I], 01, 01)) of
      0: LerHeader;
      1: LerRegistroDetalheRO;     //Resumo de Operação
      2: LerRegistroDetalheCV;     //Comprovante de Venda
      3: LerRegistroDetalheIDROSA; //Informativo detalhe do RO do Saldo em Aberto
      4: LerRegistroDetalheIBSA;   //Informativo por bandeira do Saldo em Aberto
      5: LerRegistroDetalheIOAR;   //Informativo de Operação de Antecipação de Recebíveis
      6: LerRegistroDetalheIRODA;  //Informações de RO da data antecipada
      7: LerRegistroDetalheIDRODA; //Informações de débitos de ROs da data antecipada
      9: LerTrailer;
    end;
  end;

  { Reativar todos os controles após a inserção. }
  EnableDisableControls(True);

Caso o registro seja do tipo 2, por exemplo, chamo a respectiva procedure de gravação no ClientDataSet:

procedure ThreadProcessarExtrato.LerRegistroDetalheCV;
begin
  with FrmExtratoEletronicoCielo, Extrato, DSDetalheCV.DataSet do
  begin
    Insert;
    FieldByName('TIPO_REGISTRO').AsString := Copy(Strings[CurrentLine], 001, 1);
    FieldByName('ESTAB_SUBMISSOR').AsString := Copy(Strings[CurrentLine], 002, 10);
    FieldByName('NUMERO_RO').AsString := Copy(Strings[CurrentLine], 012, 7);
    FieldByName('NUMERO_CARTAO').AsString := Copy(Strings[CurrentLine], 019, 19);
    ...
    ...
    ...
    //Aqui existem muitos outros campos que são atribuídos, retirei para ficar menor...
    ...
    ...
    ...
    Post;
    Inc(TotalRegistrosCV);
  end;
end;

Então, alguma idéia de como agilizar este processo? Ou uma maneira melhor de realizar este processo?

6
  • @Tiago não sei se não entendi sua abordagem, mas eu recebo texto puro da operadora de cartão de crédito, os registros são delimitados apenas de acordo com a posição dos caracteres, sendo assim acredito que não seja possível utilizar o XML Mapper.
    – adamasan
    Commented 2/04/2014 às 20:51
  • Pensei que era XML. Talvez trabalhar com Append ao invés de Insert seja mais rápido. Você pode efetuar vários Append´s e só dar Post no final. Ainda, fora isso, você pode tentar diminuir a quantidade de uso de FieldByName.
    – user3628
    Commented 2/04/2014 às 20:54
  • Trabalhar com TextFile eu acredito que seja mais rápido.
    – user3628
    Commented 2/04/2014 às 20:57
  • Vou fazer alguns testes tentando estas alternativas @Tiago.
    – adamasan
    Commented 2/04/2014 às 21:00
  • Arthur estou fazendo a mesma integração estou com problema em conciliar as informações de um registro com outro ex: no arquivo vem os registros 0 - header 1 - Detalhe do RO 2 - Detalhe do CV 9 - Trailer tem algum campo que vc usou para integrar as duas operações do arquivo campo que contenha na tipo de registro 1 e 2 do arquivo para casar as informações.
    – user14223
    Commented 13/08/2014 às 14:03

3 Respostas 3

13

Olá, já tive que fazer algo parecido, fica algumas sugestões que melhoraram bastante o desempenho no meu caso.

1 - Altere a propriedade LogChanges do ClientDataSet para False (isso diminui bastante o tempo de inserts em massa)

2 - Se você não está exibindo os dados do ClientDataSet em algum controle visual execute ClienteDataset.DisableControls antes de iniciar os inserts

3 -Se o ClienteDataset não estiver indexado, de preferência pelo uso do Insert ao invés do Append, pois o Append tem que posicionar no fim do dataset o novo registro inserido

4 - Se você tem muitos campos no Dataset eliminar o uso do FieldByName pode ajudar bastante também. Se os fields já estão criados no dataset em tempo de design você pode acessar ele diretamente pelo objeto TField (exemplo: ClienteDataset1NOME.AsString)

5 - O ClientDataSet não é bom para inserção de muitos registros, se ele estiver indexado a curva na operação de muitos inserções é exponencial, isso pode ser evidenciado por meio da ferramenta ASMProfiler. Uma opção que ajuda na performance é a eliminação dos índices antes de iniciar essas operações em lote e restaurar os índices no final da operação assim o custo fica mais linear.

8
  • 3
    +1 por "eliminar o uso do FieldByName" e usar DisableControls.
    – EMBarbosa
    Commented 3/04/2014 às 12:49
  • 1
    Sobre o Insert ser mais rápido que o Append, não sabia, pensava o contrário. Só sei que Append adiciona no final. Adicionei +1 tb! ;)
    – user3628
    Commented 3/04/2014 às 12:58
  • 1
    @ArthurdeAndrade, Acessar o campo diretamente ou via índice possui uma diferença desprezível. Mas normalmente código fica mais claro acessando diretamente. Só que nem sempre é possível.
    – EMBarbosa
    Commented 4/04/2014 às 14:08
  • 1
    Referente a diferença de desempenho do uso de ClientDataSetCAMPO1 ou Fields[X] não há diferença, pois no segundo caso você está acessando diretamente pelo índice, com isso ele não precisa percorrer os fields. Utilize o que ficar melhor para você.
    – Vinicius
    Commented 4/04/2014 às 14:12
  • 1
    Para remover o uso do FieldByName sem perder a legibilidade e sem utilizar datasets criados em designtime do código você pode: 1 - Criar um objeto e nele uma property para cada field e associar no afteropen ou 2 - Criar variáveis locais e associar o field pelo indice apenas 1 vez
    – Caputo
    Commented 10/04/2014 às 12:53
6

Não conheço os detalhes do seu sistema, mas 780 linhas de um arquivo texto por minuto me parece baixo, a não ser que você esteja puxando o arquivo de algum lugar da rede.

Pelo que vi, todos os comentários até agora focaram no clientdataset. Acho válido mudar um pouco o foco.

Para arquivos "pequenos", utilizar uma StringList para ler o arquivo txt é muito válido. Geralmente é mais rápido, mais fácil, parece perfeito.

Mas o fato é: Utilizando StringList, você traz para a memória o seu arquivo texto. Pelo que entendi, o arquivo que você está utilizando é enorme, e em casos como este, percebi que utilizando a estrutura de arquivo, não trazendo todo o txt para a memória, as coisas fluem melhor.

Testei em um arquivo com 500.000 linhas (Entrada.txt).

Testei primeiro a StringList: (nem preciso dizer que não rolou, né?) StringList

Logo depois utilizando a forma que propus: IO


Segue exemplo para teste:

Você normalmente chama a função desta forma:

procedure TForm1.Button2Click(Sender: TObject);
var
  arquivo : Tstringlist;
  I: Integer;
  linha : string;
begin
  arquivo := TStringList.Create;
  arquivo.LoadFromFile('c:\Entrada.txt');
  for I := 0 to arquivo.Count - 1 do
  begin
    linha := arquivo.Strings[i];
    . . . (tratamento da linha)
  end;
  showmessage('pronto');
  arquivo.Destroy;
end;

Teste fazendo desta forma:

var
   arquivo : TextFile;
   linha   : string;
begin
  AssignFile(arquivo,'c:\Entrada.txt');
  Reset(arquivo);
  while not eof(arquivo) do
  begin
    readln(arquivo,linha);
    . . . (tratamento da linha)
  end;
  showmessage('pronto');
  CloseFile(arquivo);

Não sei se isso vai resolver a sua lentidão, mas talvez consumir menos memória ajude um pouco.

1

Para abertura de um arquivo texto prefiro abordagem direta, assim o arquivo é liberado logo após sua leitura:

  function StreamToString(Arquivo: String): String;
  var
    oMemoryStream: TMemoryStream;
  begin
    Result := '';
    if FileExists(Arquivo) then
    begin
      oMemoryStream := TMemoryStream.Create;
      try
        oMemoryStream.LoadFromFile(Arquivo);
        SetString(Result, PChar(oMemoryStream.memory), oMemoryStream.Size);
      finally
        FreeAndNil(oMemoryStream);
      end;
    end;
  end;

Quanto ao DataSet ele realmente é necessário? Na minha visão utilizamos apenas para efeito estético neste caso, o que pode ser substituído pelo controle de byte e não de linha. Transferindo o conteúdo do arquivo para uma variável e desta variável diretamente para o banco seu processo deve ter um ganho considerável. Trabalhando com arquivos de 200mb com dados de um cartão de credito fiz as quebras e executava o COMMIT a cada 10.000 registro em uma base Oracle e gravava algo entorno de 60 registro por segundo. Exemplo:

procedure TForm1.BitBtn1Click(Sender: TObject);
type
  TDados = record
    Nome  : String;
    Obs   : String;
  end;

var
  rDados    : TDados;
  sTexto    : String;
  sAuxiliar : String;
  nCount,
  nIndex    : Integer;
  nCommit   : Integer;

  function Grava(Dados: TDados): Boolean;
  begin
    Result := True;
    // processo de gravação
  end;

  function Commit: Boolean;
  begin
    Result := True;
    // processo de COMMIT
  end;

  function StreamToString(Arquivo: String): String;
  var
    oMemoryStream: TMemoryStream;
  begin
    Result := '';
    if FileExists(Arquivo) then
    begin
      oMemoryStream := TMemoryStream.Create;
      try
        oMemoryStream.LoadFromFile(Arquivo);
        SetString(Result, PChar(oMemoryStream.memory), oMemoryStream.Size);
      finally
        FreeAndNil(oMemoryStream);
      end;
    end;
  end;

begin

  sTexto := StreamToString('C:\Arquivo.csv');
  if Trim(sTexto) = EmptyStr then
  begin
    Raise Exception.Create('Arquivo vazio!');
  end
  else
  begin
    for nCount := 1 to Length(sTexto) do
    begin
      if (sTexto[nCount] in [#10, #13]) and (sAuxiliar <> '') then
      begin
        rDados.Obs := sAuxiliar;
        sAuxiliar  := '';
        Grava(rDados);
        if nCommit < 10000 then // Vai depender do banco de dados
          nCommit := nCommit + 1
        else
        begin
          Commit;
          nCommit := 0;
        end;
      end
      else if (sTexto[nCount] = ';') then
      begin
        nIndex := nIndex + 1;
        case nIndex of
          0 : rDados.Nome := sAuxiliar;
          // demais campos com exceção do ultimo;
        end;
        sAuxiliar := '';
      end
      else if not (sTexto[nCount] in [#10, #13]) then
        sAuxiliar := sAuxiliar + sTexto[nCount];
    end;
  end;
end;

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .