Considerações gerais sobre processamento de dados
Antes de mais nada, é importante mencionar que na maioria dos casos não existe uma forma de processamento de dados que seja mais rápida para qualquer volume de dados.
Quando fazemos ajuste de desempenho de aplicações, geralmente é necessário analisar como, quando e em que contexto os pontos mais críticos do sistema são utilizados. A partir dessa análise será possível identificar soluções que vão desde ajustes no banco de dados (de-normalização, criação de índices, alteração de tipos de dados), passam pela forma como os dados são recuperados (cursores, buffers, ordenação) e vão até o uso de caches locais ou distribuídos.
Enfim, a solução depende de muitas variáveis e não há uma regra geral.
Recuperando uma única linha
Tabelas pequenas dificilmente necessitam de alguma otimização. Você pode ler ela inteira e não vai afetar o desempenho geral da aplicação.
A menos, é claro, que ela seja lida milhares de vezes por segundo. Neste caso você pode guardar uma cópia dos dados em memória.
Agora, se você quisesse recuperar uma única linha dentre milhares, a melhor solução é ter um bom índice que acompanhe exatamente sua cláusula WHERE
.
Considere a seguinte consulta:
select * from Pessoa where tipo_pessoa = ? and CPF = ?
Neste caso, seria ideal ter um índice sobre ambos os campos tipo_pessoa
e CPF
.
Recuperando todas as linhas de uma tabela
Ler uma tabela inteira de uma só vez, sem ter uma ideia da quantidade de registros é um desafio.
As soluções divisem-se basicamente em dois tipos: Leitura Completa e Leitura Parcial.
Leitura Completa
Ler a tabela por completo será a solução mais adequada se houver memória suficiente para isso. Afinal, não será preciso ficar "indo e voltando" ao banco de dados para recuperar novos valores.
Porém, dependendo do que há na tabela, um volume de 1 milhão de registros provavelmente vai ocupar mais memória do que desejamos.
De início até podemos chegar à conclusão de que podemos ter todos esses registros em memória. Porém, na maioria dos casos, múltiplos usuários estarão acessando o sistema ao mesmo tempo. Aí vem a pergunta: quantos usuários queremos atender?
Suponha que os registros ocupem 100 Megabytes em memória. Se tivermos um servidor com 1 Gigabyte livre, fazendo uma conta bem simples, então nosso sistema atenderia bem a 10 usuários. Passando disso, a paginação de memória em disco provavelmente degradaria o desempenho do programa até sua inutilização.
Outro problema é que carregar todos os dados em memória leva tempo. O usuário iria sentir uma diferença entre um sistema que lê 1 milhão de registros e depois escreve tudo de uma vez para ele e outro que envia dados parciais, ainda que o tempo total seja um pouco maior. Este é o motivo pelo qual acaba sendo necessário fazer paginação em muitos sistemas.
Portanto, a leitura completa de todos os dados de tabelas grandes quase sempre é inadequada para sistemas web.
Leitura Parcial
Para evitar o problema com memória e tempo de resposta, há então a alternativa de ler os dados parcialmente.
Não há só uma maneira de fazer isso.
Recuperando blocos com LIMIT
Uma abordagem é realizar varias queries que recuperam diferentes blocos de registros usando LIMIT
.
Isso significa que você deve definir um tamanho de bloco e executar vários queries consecutivas. Um exemplo de queries executadas é:
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 0, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 10, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 20, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 30, 10
....
O problema dessa abordagem é que há um overhead entre cada execução. O banco de dados terá um trabalha a mais para executar a cada bloco.
Consulta completa, resultados parciais
Outra forma de recuperar resultados parciais é utilizar uma consulta que selecione todos os registros da tabela, porém não retornar todos de uma vez para o banco de dados.
Evitamos assim que o banco de dados precise criar vários result sets e também rpecise carregar todos os dados em memória.
A ideia é que há no banco de dados uma espécie de cursor que vai lendo os dados na medida em que vamos recuperando.
No código cliente (PHP), na medida em que vamos usando os registros, descartamos as variáveis para que elas possam ser desalocadas da memória.
O ponto fraco dessa abordagem é manter um recurso aberto no servidor por mais tempo.
Leituras Completas e Parciais no PHP
O Manual do PHP tem um tópico sobre Buffered result sets e Unbuffered result sets.
Os buffered result sets são resultados que carregam todas as linhas retornadas em memória.
Exemplo:
$res = $mysqli->query("SELECT id FROM test ORDER BY id ASC");
for ($row_no = $res->num_rows - 1; $row_no >= 0; $row_no--) {
$res->data_seek($row_no);
$row = $res->fetch_assoc();
echo " id = " . $row['id'] . "\n";
}
Como está tudo em memória, você pode mover-se para qualquer posição do vetor de resultados usando o método data_seek(n)
.
Por outro lado, os unbuffered result sets percorrem os resultados sem armazená-los em memória, sendo indicado quando não há memória suficiente disponível.
Exemplo:
$mysqli->real_query("SELECT id FROM test ORDER BY id ASC");
$res = $mysqli->use_result();
echo "Result set order...\n";
while ($row = $res->fetch_assoc()) {
echo " id = " . $row['id'] . "\n";
}
Estudo de caso
Há poucos dias aqui onde trabalho uma aplicação estava sofrendo de problemas de desempenho para leitura do resultado de uma consulta que retornava aproximadamente 30 mil linhas, com subsequente geração de um arquivo texto. O tempo de execução original era de aproximadamente 20 minutos.
Primeiro, verificamos se a própria consulta não era o problema. Encontramos alguns problemas, mas nada que justificasse os 20 minutos, pois ela demorava aproximadamente 1 minuto.
Segundo, verificamos a geração do arquivo e também descartamos que fosse ali o problema.
Terceiro, verificamos também que os dados eram todos carregados em memória, mas era uma carga aceitável para o servidor em uso.
Enfim, identificamos que o problema estava no tempo de leitura dos resultados da consulta para o Java.
Pesquisando sobre o Driver para o banco de dados Oracle, vimos que por padrão ele faz um buffer de 10 registros de cada consulta. Isso significa que ao percorrer os 30 mil registros, o Driver transfere 10 por vez.
Modificamos o parâmetro do buffer para 100 e o desempenho melhorou bastante. Agora ao invés de haver 3 mil chamadas ao banco (10 em 10), eram apenas 300 (100 em 100). Fizemos vários testes e chegamos ao valor de 300 registros de buffer para aquele ambiente. Mais ou menos do que isso fazia o desempenho piorar. Além disso, os resultados não eram os mesmos em outros ambientes com diferente quantidade de memória disponível.
O tempo final caiu para 2 minutos. Com o mesmo código, apenas modificando um determinado parâmetro, mudamos completamente o cenário daquela funcionalidade.
Infelizmente, não encontrei um parâmetro semelhante ao mencionado acima para o PHP.
Outras dicas
Além de tudo que foi mencionado acima, algumas dicas podem ser úteis:
- Selecione o mínimo de colunas possível na sua consulta para minimizar o uso de memória e tempo de transferência
- Sempre faça ordenação dos dados de forma que use um índice
- É possível contar quantos registros tem a tabela e usar um algoritmo alternativo dependendo da situação
Conclusão
Existem vários mecanismos para fazer leitura de muitos dados.
Porém, a única conclusão absoluta é que será necessário realizar testes para determinar a melhor solução. Não esqueça de considerar o ambiente onde o sistema vai executar (CPU, memória, disco, etc.).