O primeiro ponto aqui é identificar o problema, para não cair no problema do Martelo de Maslow. Se a gente começar a tentar resolver o problema pelo espaço solução (isto é, começar a resolver a partir de soluções conhecidas), não vamos conseguir pegar nuances que pegaríamos analisando do espaço problema.
Como um matemático acende uma lâmpada? (Ou exemplo humorístico do Martelo de Maslow)
Sejam duas salas, A
e B
, conectadas por uma porta. Existe na sala A
um interruptor que acende uma lâmpada. Como um matemático faria para acender essa lâmpada se ele estivesse na sala B
?
Ele iria sair da sala B
para a sala A
, então mudaria a posição do interruptor para ligado.
E como esse mesmo matemático faria para acender a lâmpada se ele estivesse na sala A
?
Simples, ele iria para a sala B
, pois de lá ele conhece a solução.
Identificação do problema
O problema consiste no compartilhamento total de dados do tipo Produto
em um sistema distribuído, onde A
detém o estado total e correto dos dados e B
precisa buscá-los para poder operar. Vale ressaltar também que a comunicação A -- B
não é constante, portanto espera-se que A
e B
não estejam comunicáveis; ou seja, ocasionalmente eles estarão online, nos outros momentos estarão offline. Esses dados são numerosos e B
é um sistema crítico de memória principal.
Partes principais do problema
Esse problema (característico da computação distribuída) consiste em duas principais partes, no ponto de vista de B
:
- comunicação;
- armazenamento.
Se A
também pertence ao nosso domínio de alteração (e não esteja nas restrições do problema), isso significa que temos controle sobre a parte de como é feito o envio dos dados. Caso contrário, teremos de adicionar sua limitação ao problema, mas não vejo isso no seu caso.
Resolvendo o problema
Para resolver o problema, vamos atacar suas partes para obtermos definições. Note que não precisamos resolver totalmente uma parte para atacar a outra, mas podemos pô-las em um pipeline. Como não é possível para B
armazenar um dado que não chegou, vamos começar com a parte da comunicação.
Envio e recebimento de dados
É muito comum que os dados estruturados sigam uma estrutura de grafo.
Linguagens estruturadas (como c e java) permitem refletir essa estrutura através de referências e ponteiros. Linguagens que tratam de modo referencial os dados (como sql) não tem ponteiros propriamente dito, porém permitem fazer navegação através de consultas ligando os identificadores das coleções de elementos. Esses dados, ordenados em uma dessas maneiras, são acessados de maneira aleatória/arbitrária; a memória para trabalhar com esse tipo de dados é a memória de acesso aleatório, RAM.
Porém, o canal de comunicação de dados é sequencial. Ele é uma sequência de bytes sendo enviados. Essa informação pode estar feita de modo que só faz sentido no caso de leitura integral, mas também pode estar feita de modo que haja entendimento parcial dos dados. Nesses casos de entendimento parcial, a ordenação dos bytes é feita de tal jeito que, lendo-se da esquerda para a direita, a informação vai sendo montada. Dentre as serializações de entendimento parcial, também é necessário escolher como os dados vão estar ordenados.
Apesar de os dados normalmente serem grafos, eles podem ser representados como árvores com nós especiais de identificação. Por exemplo, podemos ter uma venda, o venda contém itens, cada item aponta para um produto e tem uma quantidade de venda, cada produto tem um nome e uma referência.
venda 1 --+-- item 1 --+-- quantidade: 12
| |
| +-- produto: ref 1
|
+-- item 2 --+-- quantidade: 5
|
+-- produto: ref 2
venda 2 --+-- item 1 --+-- quantidade: 5
|
+-- produto: ref 1
produto 1 --+-- nome: Martelo
|
+-- ref: 1
produto 2 --+-- nome: Parafuso
|
+-- ref: 2
Esse esquema de representação de dados é representável por uma linguagem livre de contexto, como json e xml. Note que não é possível ter uma representação mais simples desse tipo de dados em árvore na hierarquia de linguagens formais.
Para mais detalhes sobre linguagens formais e hierarquia de Chomsky, veja as seguintes respostas:
Outro formato de dados possível para fazer a comunicação é não hierarquizar a informação em árvore, mantendo apenas referências para os outros objetos. Esse esquema é mais semelhante à estruturação da informação de modo relacional. Para representar a hierarquia da árvore, estou fazendo com que um nó abaixo na árvore aponte para seu nó pai. O exemplo acima ficaria assim:
venda 1 -> ref: 1.
venda 2 -> ref: 2.
item 1 -> ref: 1; quantidade: 12; produto: 1; venda: 1.
item 2 -> ref: 2; quantidade: 5; produto: 2; venda: 1.
item 3 -> ref: 3; quantidade: 5; produto: 1; venda: 2.
produto 1 -> ref: 1; nome: Martelo.
produto 2 -> ref: 2; nome: Parafuso.
Note que toda linguagem regular pode ser representada de modo livre de contexto, portanto esse esquema regular pode ser muito bem descrito por um json ou por um xml.
Como o problema trata de envio de dados em um sistema crítico de memória, o esquema usando uma representação regular dos dados permite o menor consumo dos bytes sendo enviados até formar algo que seja completo/gravável. Assim, podemos pegar um dado e, no momento que esse dado for totalmente carregado, podemos armazená-lo. Sabendo qual é o tipo de dado sendo enviado (no exemplo, produto
, item
e venda
), essa representação regular é mais do que o suficiente.
Para minimizar a quantidade de dados sendo trafegado e interpretado, podemos também estruturar os metadados de modo a minimizar o transporte de envio. Por exemplo, uma interpretação mais ingênua dos dados do exemplo acima em json seria:
[
{'tipo': 'venda', 'ref': 1},
{'tipo': 'venda', 'ref': 2},
{'tipo': 'item', 'ref': 1, 'quantidade': 12, 'produto': 1, 'venda': 1},
{'tipo': 'item', 'ref': 2, 'quantidade': 5, 'produto': 2, 'venda': 1},
{'tipo': 'item', 'ref': 3, 'quantidade': 5, 'produto': 1, 'venda': 2},
{'tipo': 'produto', 'ref': 1, 'nome': 'Martelo'},
{'tipo': 'produto', 'ref': 2, 'nome': 'Parafuso'}
]
Note que há uma repetição do tipo
para os dados do mesmo tipo. Podemos estruturar os metadados melhor se eu informar o tipo e, em seguida, um vetor com os dados daquele tipo. Note que o formato da comunicação como um todo é livre de contexto, mas os dados estão dispostos, cada um, de modo regular.
[
{
'tipo': 'venda',
'valores': [{'ref': 1}, {'ref': 2}]
},
{
'tipo': 'item',
'valores': [
{'ref': 1, 'quantidade': 12, 'produto': 1, 'venda': 1},
{'ref': 2, 'quantidade': 5, 'produto': 2, 'venda': 1},
{'ref': 3, 'quantidade': 5, 'produto': 1, 'venda': 2}
]
},
{
'tipo': 'produto',
'valores':[{'ref': 1, 'nome': 'Martelo'}, {'ref': 2, 'nome': 'Parafuso'}]
}
]
Removendo a parte do pretty print, o segundo formato tem 306 bytes, enquanto que o primeiro possui 324. Isso aconteceu porque foram trocados
6 caracteres estruturais do JSON; 4 + comprimento(nome)
referente a identificação da tabela por cada linha; TOTAL: 10 + comprimento(nome)
por linha
por
6 caracteres estruturais do JSON; 4 + comprimento(nome)
referente a identificação da tabela; 5 caracteres estruturais do JSON; 7 referente a identificação dos valores; 2 caracteres estruturais do JSON; TOTAL: 24 + comprimento(nome)
por tipo de tabela
Como você trata com números significativos (dezenas de milhares), a economia se torna significativa. Por exemplo, para um nome de 4 caracteres (como item
), a economia para enviar 10 mil linhas é de:
(10 + 4) * 10.000 - (24 + 4) = 14.000 - 28 = 13972
Uma economia de aproximadamente 14 Kb.
É possível diminuir ainda mais os dados se incluirmos os nomes dos campos para um mapeamento minificado:
[
{
'tipo': 'venda',
'cabecalho': {'a': 'ref'},
'valores': [{'a': 1}, {'a': 2}]
},
{
'tipo': 'item',
'cabecalho': {'a': 'ref', 'b': 'quantidade', 'c': 'produto', 'd': 'venda'},
'valores': [
{'a': 1, 'b': 12, 'c': 1, 'd': 1},
{'a': 2, 'b': 5, 'c': 2, 'd': 1},
{'a': 3, 'b': 5, 'c': 1, 'd': 2}
]
},
{
'tipo': 'produto',
'cabecalho': {'a': 'ref', 'b': 'nome'},
'valores':[{'a': 1, 'b': 'Martelo'}, {'a': 2, 'b': 'Parafuso'}]
}
]
Nesse caso, a economia se mostra mais eficiente conforme aumenta a quantidade de dados sendo transferidos. Comparativamente, saímos de:
somatório de comprimento(nome)
de colunas * número de linhas
para:
(somatório de comprimento(nome)
de colunas + 14 + quantidade de colunas * 7) + (quantidade de colunas * número de linhas)
Para a tabela item
, tomando como exemplo 10.000 linhas, a diferença da versão anterior para essa minificação é:
25 * 10.000 - (25 + 14 + 4 * 7 + 4*10.000) = 21.000 - 67 = 20.933
Uma economia de aproximadamente 21 Kb.
Usando o JSON-Simple, é possível fazer o tratamento de receber determinado tipo de dado e da minificação do cabeçalho. Mais detalhes explicado nessa outra resposta.
Nesse caso, como os dados estão dispostos de modo regular dentro do vetor identificado por valores
, não é necessário guardar todos os elementos em memória e depois percorrê-los. Aqui, ao identificar na leitura que houve um fim de objeto JSON, iremos salvar no banco.
Para fazer testes de estresse usando TotalCross, foi criado o projeto BigFile
. Um dos testes de estresse foi verificar o quanto é diferente consumir um JSON pesado usando as estratégias DOM (totalcross.json.JSONObject
) e SAX (JSON-Simple).
O uso de memória usando a estratégia DOM no Java:
O uso de memória usando a estratégia SAX no Java:
OBS: Foi constatado que, no iOS, a memória utilizada pelo dispositivo é mais ou menos 67% da memória usada no Java.
Para melhorar o envio, podemos também receber os dados no modo gzip
ou deflate
. Isso significa que os dados sofrem compressão antes de serem enviados. Por exemplo, ao usar esta ferramenta de geração aleatória, foi criada uma carga JSON de tamanho total de 157 Kb, tamanho compactado de 37 Kb ao usar gzip
.
Gravando uma linha de dado
A dificuldade aqui incide em como obter o melhor desempenho possível para, a partir da leitura do dado, gravá-lo no banco de dados embarcado. Vamos usar para esse propósito o SQLite.
Para aumentar o máximo possível a performance no SQLite, devemos fazer a escrita em uma transação. Assim, antes de começar a receber os dados, abrimos a transação. Ao terminar com sucesso o recebimento dos dados, comitamos. Caso haja alguma falha no meio do caminho, precisa definir o que vai ser feito. Eu particularmente, sou a favor do tudo ou nada, então, se houver alguma falha, daria um rollback retornando ao estado anterior e fechava a transação.
Também estamos lidando com algo parecido com JDBC. Podemos preparar uma statement de inserção e adicionar os valores ao batch, para então mandar executar o batch. Para evitar carregar a memória do dispositivo, podemos colocar o tamanho máximo do batch em 1.000 linhas, executando então o batch toda vez que chegamos nesse intervalo. Ao finalizar a comunicação, podemos ter nosso batch com ações pendentes ou podemos ter ele já concluído; caso ainda tenha ações pendentes, executamos a última vez.
Esse controle é feito programaticamente, não tem muito suporte para isso. A ideia é mais ou menos a seguinte:
inicia transação do SQLite
enquanto houver dados a receber:
preencher objeto com os dados lidos
adiciona objeto ao batch
incrementa contagem do batch
se contagem do batch >= limite de batch:
executa batch
contagem do batch <- 0
# fim dos dados
se contagem do batch > 0:
executa batch
contagem do batch <- 0
commita as mudanças no SQLite
termina a transação do SQLite
Note que o limite pode variar de acordo com as suas necessidades. Num caso crítico de memória, talvez 1.000 linhas sejam muitas, talvez seja necessário um limite menor, como 200 linhas. Ou então talvez 1000 linhas não faça muito impacto na memória sendo usada, talvez consiga melhores resultados com 10.000 linhas.
Não preparei o pseudo código acima para aceitar dados heterogêneos. A adaptação para tal é detectar quando se fecha um tipo de dados (fim do objeto que contenha os campos tipo
, cabecalho
e valores
) e executar o batch restante, caso haja.
Repare na primeira linha interna ao laço eu faço a leitura de um dado. Se os dados estiverem dispostos de modo regular (conforme descrito na seção anterior), é possível ler essa informação individualmente usando a estratégia SAX. Assim, teremos carregado em memória o mínimo possível para se fazer a operação, obedecendo portanto a restrição de que estamos em um sistema crítico de memória.
Outra estratégia de leitura é a estratégia DOM. Ela é mais fácil de se usar, porém consome mais memória e, também, exige primeiramente montar a árvore de sintaxe para depois manipulá-la, o que significa ma compilação em dois passos, mais processamento usado. Leia mais sobre SAX aqui.
Críticas à sua solução
O contexto de criação do JSONFactory
é para uma pequena quantidade de dados. Pode ser um arquivo de configuração guardado como json. Ele também foi feito para ser genérico em detrimento da velocidade: ele usa reflection para povoar os objetos profundos, e também não faz nenhum buffer para tentar reaproveitar um método que já foi descoberto por reflection.
Outro ponto é que, como ele foi feito para esse cenário de pequenos dados, ele foi feito usando a estratégia DOM de leitura do json. A estratégia DOM implica que o programa terá acesso à árvore de dados após ele ter sido totalmente interpretada; portanto, primeiro o JSONObject
/JSONArray
será totalmente preenchido e interpretado, para só então você tentar ler e interpretar. Como você está em um ambiente crítico de memória, ter de inicialmente carregar completamente os dados transferidos para só então passar a interpretar é extremamente custoso.
Após pegar o json inteiro, você transforma em uma lista de dados. O que significa que, em determinado momento, além de você ter carregado na memória principal todo o json, você ainda vai ter carregado na memória principal toda a lista com os objetos. Em um sistema crítico de memória, você está levando ele ao extremo.
A leitura usando HttpStream.readLine
segue até encontrar um caracter de fim de linha. Então, além de usar processamento percorrendo cada caracter de leitura para depois usar mais processamento fazendo o parse para json.
Além disso, se você olhar o código do HttpStream.readLine
(que vem embarcado com o TotalCross), você verá que ele faz uma chamada à classe LineReader
. Internamente, LineReader
vai montar um grande vetor de bytes para, então, converter em um grande vetor de char
e, então, copiar esse vetor de char
para a string (essa cópia é feita para garantir a imutabilidade da string gerada). Só aí temos que a mesma quantia de dados advindo da stream é alocada 3 vezes; se usarmos a média de cada registro com 100 caracteres (o exemplo que você passou em outra pergunta tinha 132 caracteres) e 1 byte por caracter enviado, com 21000 registros, temos que vão trafegar 2,1 Mb. Isso significa que vai ser criado um vetor de bytes de 2,1 Mb, para então ser criado um vetor de caracteres com 2,1 milhões de casas, para então ser criada uma String com uma cópia desse vetor com, também, 2,1 milhões de posições. Considerando que, internamente, a codificação dos caracteres é UCS-2, cada caracter ocupa 2 bytes, portanto temos que, em dado momento dessa conversão, esse é o mínimo de memória usado pelo HttpStream.readLine
:
+--------------+---------------+
| momento | tamanho usado |
+--------------+---------------+
| leitura dos | |
| bytes | 2,1Mb |
+--------------+---------------+
| conversão de | 2,1Mb + |
| byte p/ char | 4,2Mb = 6,3Mb |
+--------------+---------------+
| conversão de | 4,2Mb + |
| char p/ | 4,2Mb = 8,4Mb |
| string | (+2,1Mb ?) |
+--------------+---------------+
Eu coloque (+2,1Mb ?)
porque, talvez, o vetor de bytes ainda não tenha sido coletado pelo garbage collector. Nesse caso, o total seria de 10,5 Mb
Considerando que, talvez, existe algum registro string com quebra de linhas, a leitura não seria feita por completa em um único HttpStream.readLine
. Portanto, ao ser enviado o resultado de uma única chamada a HttpStream.readLine
, um JSONException
será lançado por falha de sintaxe.
Resumo
- Minimize a quantidade de dados sendo trafegada
- O jeito mais fácil é usando
gzip
ou deflate
- O uso de um cabeçalho de metadados também fornece uma possível grande redução, porém exige um trabalho extra do serializador
- Evite carregar todo o json em memória
- Leia o mínimo possível até ter algo com o que trabalhar
- Use a estratégia SAX para isso (JSON-Simple fornece recursos para isso)
- Você não precisa carregar toda a lista em memória para depois salvá-la
- Otimize o uso do SQLite
- Deixe tudo dentro de uma transação
- Prepare a statement o mínimo de vezes possível (como você já fez)
- Utilize batch para fazer a inserção
- Delimite um máximo de dados que podem ficar na batch para otimizar performance (esse limite é melhor definido experimentalmente)
JSONFactory
usa uma estratégia DOM para montar o objeto recebido pela requisição. O ideal para evitar consumir tanta memória é usar o JSON-Simple ou outro compilador de JSON que usa a estratégia SAX, conforme mencionado em uma resposta à sua outra pergunta. Isso evita tomar muita memória RAM o que normalmente melhora a performance do sincronismo. Em um projeto, conseguimos chegar a marca de 0,5 microssegundo por caracter do JSON para interpretar e persistir no SQLite usando o JSON-simplehttpStreamProd.readLine()
) implica em existir quebras de linha no JSON, o que significa caracteres a mais sendo enviados e precisando de trato. Independente, o tratamento DOM comreadLine()
implica que, inicialmente, o programa vai ler cada caracter até chegar numa quebra de linha, o que então é passado para oJSONFactory
interpretar cada caracter individualmente. Numa aplicação crítica de processamento, você está fazendo duas vezes o mesmo serviço. Vou por uma resposta bem completa explicando diversas estratégias para maximizar desemplenho