0

Estou com um problema de lentidão com um processo que se resume em: receber de um WebService um JSON, converter o JSON para uma Classe e fazer INSERT em um banco local (SQLite).

Estou usando um Coletor (Bematech DC3500) que roda Windows CE 6.0 com 36848KB de Storage Memory e 51296KB de Program Memory.

Acredito que uma parte da lentidão se deve à limitação do Coletor mesmo. Mas aqui vão alguns dados:

O JSON retornado do WebService é de uma tabela de 7 campos com aproximadamente 21 mil registros. Essa comunicação com o WebService é rápida. O maior problema vem quando utilizo o JSONFactory para converter o JSON em uma Lista da Classe correspondente. Fazendo a leitura do JSON completo (os 21 mil registros) estourava a memória do coletor.

A minha ideia foi ir diminuindo a quantidade retornada pelo WebService, mas mesmo assim continuava dando erro de estouro de memória e as vezes de timeout. A quantidade de registros que encontrei que conseguia finalizar o processo foi de 250 registros. Fazendo as contas, a aplicação teria que fazer 84 requisições para o WebService para ter todos os registros (21000 / 250).

Dividindo esse processo em tantas partes, também deixa lento a escrita no banco de dados SQLite... Fiz algumas pesquisas que falam que pesa muito cada transação que é gerada.

Enfim, com essas configurações foi possível finalizar o processo, mas demorou em torno de 1 hora para finalizar os 21 mil registros.

Segue abaixo a parte do fonte que realiza esse processo (sem o limite de 250 registros por JSON) :

HttpStream.Options options = new HttpStream.Options();
options.setCharsetEncoding(HttpStream.Options.CHARSET_UTF8);
options.httpType = HttpStream.GET;
options.setContentType("application/json");

HttpStream httpStreamProd = new HttpStream(new URI('uri do webservice'), options);
if (httpStreamProd.isOk()) {
    List<Produto> listProduto = JSONFactory.asList(httpStreamProd.readLine(), Produto.class); // Aqui que demora, e estoura a memória do Coletor

    if (listProduto != null && !listProduto.isEmpty()) {
        try (PreparedStatement pstaInsertProduto = VarGlobais.connection.prepareStatement(ProdutoQueries.insert)) {
            for (Produto produto : listProduto) {
                /* SET dos parâmetros no PreparedStatement */

                pstaInsertProduto.addBatch();
            }

            pstaInsertProduto.executeBatch();
        }
    }
}

Fiz os mesmos testes usando o simulador no PC. Conseguia rodar tranquilamente sem precisar dividir o JSON e o processo todo demorava menos que 10 segundos. Fiz testes dividindo o JSON só para efeito de comparação, e o tempo subiu para próximo a 1 minuto.

Essa diferença toda de tempo entre o PC e o Coletor se deve à vários fatores: processamento, velocidade de leitura / escrita, forma de conexão (PC é cabeado e o Coletor é wireless)...

Entendo que não é possível obter os mesmos resultados nos dois dispositivos, só estou achando que está absurdamente lento quando se trata do Coletor. Alguém possui alguma sugestão / opinião sobre o assunto, como melhorar a performance, etc?

3
  • Deivison, o JSONFactory usa uma estratégia DOM para montar o objeto recebido pela requisição. O ideal para evitar consumir tanta memória é usar o JSON-Simple ou outro compilador de JSON que usa a estratégia SAX, conforme mencionado em uma resposta à sua outra pergunta. Isso evita tomar muita memória RAM o que normalmente melhora a performance do sincronismo. Em um projeto, conseguimos chegar a marca de 0,5 microssegundo por caracter do JSON para interpretar e persistir no SQLite usando o JSON-simple Commented 17/07/2017 às 17:37
  • Também posso sugerir que a leitura de linha (httpStreamProd.readLine()) implica em existir quebras de linha no JSON, o que significa caracteres a mais sendo enviados e precisando de trato. Independente, o tratamento DOM com readLine() implica que, inicialmente, o programa vai ler cada caracter até chegar numa quebra de linha, o que então é passado para o JSONFactory interpretar cada caracter individualmente. Numa aplicação crítica de processamento, você está fazendo duas vezes o mesmo serviço. Vou por uma resposta bem completa explicando diversas estratégias para maximizar desemplenho Commented 17/07/2017 às 17:42
  • @JeffersonQuesado alguma novidade sobre essa questão..? Você ficou de mandar algumas estratégias para maximizar desempenho.. Obrigado
    – Luciano
    Commented 14/08/2017 às 19:38

1 Resposta 1

1

O primeiro ponto aqui é identificar o problema, para não cair no problema do Martelo de Maslow. Se a gente começar a tentar resolver o problema pelo espaço solução (isto é, começar a resolver a partir de soluções conhecidas), não vamos conseguir pegar nuances que pegaríamos analisando do espaço problema.

Como um matemático acende uma lâmpada? (Ou exemplo humorístico do Martelo de Maslow)

Sejam duas salas, A e B, conectadas por uma porta. Existe na sala A um interruptor que acende uma lâmpada. Como um matemático faria para acender essa lâmpada se ele estivesse na sala B?

Ele iria sair da sala B para a sala A, então mudaria a posição do interruptor para ligado.

E como esse mesmo matemático faria para acender a lâmpada se ele estivesse na sala A?

Simples, ele iria para a sala B, pois de lá ele conhece a solução.

Identificação do problema

O problema consiste no compartilhamento total de dados do tipo Produto em um sistema distribuído, onde A detém o estado total e correto dos dados e B precisa buscá-los para poder operar. Vale ressaltar também que a comunicação A -- B não é constante, portanto espera-se que A e B não estejam comunicáveis; ou seja, ocasionalmente eles estarão online, nos outros momentos estarão offline. Esses dados são numerosos e B é um sistema crítico de memória principal.

Partes principais do problema

Esse problema (característico da computação distribuída) consiste em duas principais partes, no ponto de vista de B:

  1. comunicação;
  2. armazenamento.

Se A também pertence ao nosso domínio de alteração (e não esteja nas restrições do problema), isso significa que temos controle sobre a parte de como é feito o envio dos dados. Caso contrário, teremos de adicionar sua limitação ao problema, mas não vejo isso no seu caso.

Resolvendo o problema

Para resolver o problema, vamos atacar suas partes para obtermos definições. Note que não precisamos resolver totalmente uma parte para atacar a outra, mas podemos pô-las em um pipeline. Como não é possível para B armazenar um dado que não chegou, vamos começar com a parte da comunicação.

Envio e recebimento de dados

É muito comum que os dados estruturados sigam uma estrutura de grafo.

Exemplo de estrutura de dados como grafo

Linguagens estruturadas (como e ) permitem refletir essa estrutura através de referências e ponteiros. Linguagens que tratam de modo referencial os dados (como ) não tem ponteiros propriamente dito, porém permitem fazer navegação através de consultas ligando os identificadores das coleções de elementos. Esses dados, ordenados em uma dessas maneiras, são acessados de maneira aleatória/arbitrária; a memória para trabalhar com esse tipo de dados é a memória de acesso aleatório, RAM.

Porém, o canal de comunicação de dados é sequencial. Ele é uma sequência de bytes sendo enviados. Essa informação pode estar feita de modo que só faz sentido no caso de leitura integral, mas também pode estar feita de modo que haja entendimento parcial dos dados. Nesses casos de entendimento parcial, a ordenação dos bytes é feita de tal jeito que, lendo-se da esquerda para a direita, a informação vai sendo montada. Dentre as serializações de entendimento parcial, também é necessário escolher como os dados vão estar ordenados.

Apesar de os dados normalmente serem grafos, eles podem ser representados como árvores com nós especiais de identificação. Por exemplo, podemos ter uma venda, o venda contém itens, cada item aponta para um produto e tem uma quantidade de venda, cada produto tem um nome e uma referência.

venda 1 --+-- item 1 --+-- quantidade: 12
          |            |
          |            +-- produto: ref 1
          |
          +-- item 2 --+-- quantidade: 5
                       |
                       +-- produto: ref 2

venda 2 --+-- item 1 --+-- quantidade: 5
                       |
                       +-- produto: ref 1

produto 1 --+-- nome: Martelo
            |
            +-- ref: 1

produto 2 --+-- nome: Parafuso
            |
            +-- ref: 2

Esse esquema de representação de dados é representável por uma linguagem livre de contexto, como e . Note que não é possível ter uma representação mais simples desse tipo de dados em árvore na hierarquia de linguagens formais.

Para mais detalhes sobre linguagens formais e hierarquia de Chomsky, veja as seguintes respostas:

Outro formato de dados possível para fazer a comunicação é não hierarquizar a informação em árvore, mantendo apenas referências para os outros objetos. Esse esquema é mais semelhante à estruturação da informação de modo relacional. Para representar a hierarquia da árvore, estou fazendo com que um nó abaixo na árvore aponte para seu nó pai. O exemplo acima ficaria assim:

venda 1 -> ref: 1.
venda 2 -> ref: 2.
item 1 -> ref: 1; quantidade: 12; produto: 1; venda: 1.
item 2 -> ref: 2; quantidade: 5; produto: 2; venda: 1.
item 3 -> ref: 3; quantidade: 5; produto: 1; venda: 2.
produto 1 -> ref: 1; nome: Martelo.
produto 2 -> ref: 2; nome: Parafuso.

Note que toda linguagem regular pode ser representada de modo livre de contexto, portanto esse esquema regular pode ser muito bem descrito por um ou por um .

Como o problema trata de envio de dados em um sistema crítico de memória, o esquema usando uma representação regular dos dados permite o menor consumo dos bytes sendo enviados até formar algo que seja completo/gravável. Assim, podemos pegar um dado e, no momento que esse dado for totalmente carregado, podemos armazená-lo. Sabendo qual é o tipo de dado sendo enviado (no exemplo, produto, item e venda), essa representação regular é mais do que o suficiente.

Para minimizar a quantidade de dados sendo trafegado e interpretado, podemos também estruturar os metadados de modo a minimizar o transporte de envio. Por exemplo, uma interpretação mais ingênua dos dados do exemplo acima em seria:

[
  {'tipo': 'venda', 'ref': 1},
  {'tipo': 'venda', 'ref': 2},
  {'tipo': 'item', 'ref': 1, 'quantidade': 12, 'produto': 1, 'venda': 1},
  {'tipo': 'item', 'ref': 2, 'quantidade': 5, 'produto': 2, 'venda': 1},
  {'tipo': 'item', 'ref': 3, 'quantidade': 5, 'produto': 1, 'venda': 2},
  {'tipo': 'produto', 'ref': 1, 'nome': 'Martelo'},
  {'tipo': 'produto', 'ref': 2, 'nome': 'Parafuso'}
]

Note que há uma repetição do tipo para os dados do mesmo tipo. Podemos estruturar os metadados melhor se eu informar o tipo e, em seguida, um vetor com os dados daquele tipo. Note que o formato da comunicação como um todo é livre de contexto, mas os dados estão dispostos, cada um, de modo regular.

[
  {
    'tipo': 'venda',
    'valores': [{'ref': 1}, {'ref': 2}]
  },
  {
    'tipo': 'item',
    'valores': [
      {'ref': 1, 'quantidade': 12, 'produto': 1, 'venda': 1},
      {'ref': 2, 'quantidade': 5, 'produto': 2, 'venda': 1},
      {'ref': 3, 'quantidade': 5, 'produto': 1, 'venda': 2}
    ]
  },
  {
    'tipo': 'produto',
    'valores':[{'ref': 1, 'nome': 'Martelo'}, {'ref': 2, 'nome': 'Parafuso'}]
  }
]

Removendo a parte do pretty print, o segundo formato tem 306 bytes, enquanto que o primeiro possui 324. Isso aconteceu porque foram trocados

6 caracteres estruturais do JSON; 4 + comprimento(nome) referente a identificação da tabela por cada linha; TOTAL: 10 + comprimento(nome) por linha

por

6 caracteres estruturais do JSON; 4 + comprimento(nome) referente a identificação da tabela; 5 caracteres estruturais do JSON; 7 referente a identificação dos valores; 2 caracteres estruturais do JSON; TOTAL: 24 + comprimento(nome) por tipo de tabela

Como você trata com números significativos (dezenas de milhares), a economia se torna significativa. Por exemplo, para um nome de 4 caracteres (como item), a economia para enviar 10 mil linhas é de:

(10 + 4) * 10.000 - (24 + 4) = 14.000 - 28 = 13972

Uma economia de aproximadamente 14 Kb.

É possível diminuir ainda mais os dados se incluirmos os nomes dos campos para um mapeamento minificado:

[
  {
    'tipo': 'venda',
    'cabecalho': {'a': 'ref'},
    'valores': [{'a': 1}, {'a': 2}]
  },
  {
    'tipo': 'item',
    'cabecalho': {'a': 'ref', 'b': 'quantidade', 'c': 'produto', 'd': 'venda'},
    'valores': [
      {'a': 1, 'b': 12, 'c': 1, 'd': 1},
      {'a': 2, 'b': 5, 'c': 2, 'd': 1},
      {'a': 3, 'b': 5, 'c': 1, 'd': 2}
    ]
  },
  {
    'tipo': 'produto',
    'cabecalho': {'a': 'ref', 'b': 'nome'},
    'valores':[{'a': 1, 'b': 'Martelo'}, {'a': 2, 'b': 'Parafuso'}]
  }
]

Nesse caso, a economia se mostra mais eficiente conforme aumenta a quantidade de dados sendo transferidos. Comparativamente, saímos de:

somatório de comprimento(nome) de colunas * número de linhas

para:

(somatório de comprimento(nome)de colunas + 14 + quantidade de colunas * 7) + (quantidade de colunas * número de linhas)

Para a tabela item, tomando como exemplo 10.000 linhas, a diferença da versão anterior para essa minificação é:

25 * 10.000 - (25 + 14 + 4 * 7 + 4*10.000) = 21.000 - 67 = 20.933

Uma economia de aproximadamente 21 Kb.

Usando o JSON-Simple, é possível fazer o tratamento de receber determinado tipo de dado e da minificação do cabeçalho. Mais detalhes explicado nessa outra resposta.

Nesse caso, como os dados estão dispostos de modo regular dentro do vetor identificado por valores, não é necessário guardar todos os elementos em memória e depois percorrê-los. Aqui, ao identificar na leitura que houve um fim de objeto JSON, iremos salvar no banco.

Para fazer testes de estresse usando TotalCross, foi criado o projeto BigFile. Um dos testes de estresse foi verificar o quanto é diferente consumir um JSON pesado usando as estratégias DOM (totalcross.json.JSONObject) e SAX (JSON-Simple).

O uso de memória usando a estratégia DOM no Java:

uso de memória usando DOM

O uso de memória usando a estratégia SAX no Java:

uso de memória usando SAX

OBS: Foi constatado que, no iOS, a memória utilizada pelo dispositivo é mais ou menos 67% da memória usada no Java.

Para melhorar o envio, podemos também receber os dados no modo gzip ou deflate. Isso significa que os dados sofrem compressão antes de serem enviados. Por exemplo, ao usar esta ferramenta de geração aleatória, foi criada uma carga JSON de tamanho total de 157 Kb, tamanho compactado de 37 Kb ao usar gzip.

Gravando uma linha de dado

A dificuldade aqui incide em como obter o melhor desempenho possível para, a partir da leitura do dado, gravá-lo no banco de dados embarcado. Vamos usar para esse propósito o SQLite.

Para aumentar o máximo possível a performance no SQLite, devemos fazer a escrita em uma transação. Assim, antes de começar a receber os dados, abrimos a transação. Ao terminar com sucesso o recebimento dos dados, comitamos. Caso haja alguma falha no meio do caminho, precisa definir o que vai ser feito. Eu particularmente, sou a favor do tudo ou nada, então, se houver alguma falha, daria um rollback retornando ao estado anterior e fechava a transação.

Também estamos lidando com algo parecido com JDBC. Podemos preparar uma statement de inserção e adicionar os valores ao batch, para então mandar executar o batch. Para evitar carregar a memória do dispositivo, podemos colocar o tamanho máximo do batch em 1.000 linhas, executando então o batch toda vez que chegamos nesse intervalo. Ao finalizar a comunicação, podemos ter nosso batch com ações pendentes ou podemos ter ele já concluído; caso ainda tenha ações pendentes, executamos a última vez.

Esse controle é feito programaticamente, não tem muito suporte para isso. A ideia é mais ou menos a seguinte:

inicia transação do SQLite
enquanto houver dados a receber:
    preencher objeto com os dados lidos
    adiciona objeto ao batch
    incrementa contagem do batch
    se contagem do batch >= limite de batch:
        executa batch
        contagem do batch <- 0
# fim dos dados
se contagem do batch > 0:
    executa batch
    contagem do batch <- 0
commita as mudanças no SQLite
termina a transação do SQLite

Note que o limite pode variar de acordo com as suas necessidades. Num caso crítico de memória, talvez 1.000 linhas sejam muitas, talvez seja necessário um limite menor, como 200 linhas. Ou então talvez 1000 linhas não faça muito impacto na memória sendo usada, talvez consiga melhores resultados com 10.000 linhas.

Não preparei o pseudo código acima para aceitar dados heterogêneos. A adaptação para tal é detectar quando se fecha um tipo de dados (fim do objeto que contenha os campos tipo, cabecalho e valores) e executar o batch restante, caso haja.

Repare na primeira linha interna ao laço eu faço a leitura de um dado. Se os dados estiverem dispostos de modo regular (conforme descrito na seção anterior), é possível ler essa informação individualmente usando a estratégia SAX. Assim, teremos carregado em memória o mínimo possível para se fazer a operação, obedecendo portanto a restrição de que estamos em um sistema crítico de memória.

Outra estratégia de leitura é a estratégia DOM. Ela é mais fácil de se usar, porém consome mais memória e, também, exige primeiramente montar a árvore de sintaxe para depois manipulá-la, o que significa ma compilação em dois passos, mais processamento usado. Leia mais sobre SAX aqui.

Críticas à sua solução

O contexto de criação do JSONFactory é para uma pequena quantidade de dados. Pode ser um arquivo de configuração guardado como . Ele também foi feito para ser genérico em detrimento da velocidade: ele usa reflection para povoar os objetos profundos, e também não faz nenhum buffer para tentar reaproveitar um método que já foi descoberto por reflection.

Outro ponto é que, como ele foi feito para esse cenário de pequenos dados, ele foi feito usando a estratégia DOM de leitura do . A estratégia DOM implica que o programa terá acesso à árvore de dados após ele ter sido totalmente interpretada; portanto, primeiro o JSONObject/JSONArray será totalmente preenchido e interpretado, para só então você tentar ler e interpretar. Como você está em um ambiente crítico de memória, ter de inicialmente carregar completamente os dados transferidos para só então passar a interpretar é extremamente custoso.

Após pegar o inteiro, você transforma em uma lista de dados. O que significa que, em determinado momento, além de você ter carregado na memória principal todo o , você ainda vai ter carregado na memória principal toda a lista com os objetos. Em um sistema crítico de memória, você está levando ele ao extremo.

A leitura usando HttpStream.readLine segue até encontrar um caracter de fim de linha. Então, além de usar processamento percorrendo cada caracter de leitura para depois usar mais processamento fazendo o parse para .

Além disso, se você olhar o código do HttpStream.readLine (que vem embarcado com o TotalCross), você verá que ele faz uma chamada à classe LineReader. Internamente, LineReader vai montar um grande vetor de bytes para, então, converter em um grande vetor de char e, então, copiar esse vetor de char para a string (essa cópia é feita para garantir a imutabilidade da string gerada). Só aí temos que a mesma quantia de dados advindo da stream é alocada 3 vezes; se usarmos a média de cada registro com 100 caracteres (o exemplo que você passou em outra pergunta tinha 132 caracteres) e 1 byte por caracter enviado, com 21000 registros, temos que vão trafegar 2,1 Mb. Isso significa que vai ser criado um vetor de bytes de 2,1 Mb, para então ser criado um vetor de caracteres com 2,1 milhões de casas, para então ser criada uma String com uma cópia desse vetor com, também, 2,1 milhões de posições. Considerando que, internamente, a codificação dos caracteres é UCS-2, cada caracter ocupa 2 bytes, portanto temos que, em dado momento dessa conversão, esse é o mínimo de memória usado pelo HttpStream.readLine:

+--------------+---------------+
| momento      | tamanho usado |
+--------------+---------------+
| leitura dos  |               |
| bytes        | 2,1Mb         |
+--------------+---------------+
| conversão de | 2,1Mb +       |
| byte p/ char | 4,2Mb = 6,3Mb |
+--------------+---------------+
| conversão de | 4,2Mb +       |
| char p/      | 4,2Mb = 8,4Mb |
| string       | (+2,1Mb ?)    |
+--------------+---------------+

Eu coloque (+2,1Mb ?) porque, talvez, o vetor de bytes ainda não tenha sido coletado pelo garbage collector. Nesse caso, o total seria de 10,5 Mb

Considerando que, talvez, existe algum registro string com quebra de linhas, a leitura não seria feita por completa em um único HttpStream.readLine. Portanto, ao ser enviado o resultado de uma única chamada a HttpStream.readLine, um JSONException será lançado por falha de sintaxe.

Resumo

  1. Minimize a quantidade de dados sendo trafegada
    1. O jeito mais fácil é usando gzip ou deflate
    2. O uso de um cabeçalho de metadados também fornece uma possível grande redução, porém exige um trabalho extra do serializador
  2. Evite carregar todo o em memória
    1. Leia o mínimo possível até ter algo com o que trabalhar
    2. Use a estratégia SAX para isso (JSON-Simple fornece recursos para isso)
    3. Você não precisa carregar toda a lista em memória para depois salvá-la
  3. Otimize o uso do SQLite
    1. Deixe tudo dentro de uma transação
    2. Prepare a statement o mínimo de vezes possível (como você já fez)
    3. Utilize batch para fazer a inserção
    4. Delimite um máximo de dados que podem ficar na batch para otimizar performance (esse limite é melhor definido experimentalmente)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .