5

Tendo a seguinte tabela:

| id | name | email | coutry |
+----+------+-------+--------+

Qual a forma mais eficiente (mais rápida) de selecionar TODAS as linhas da tabela sabendo que a tabela poderá ter 1 linha ou milhões de linhas

  • fazer um ciclo e fazer um SELECT por linha?
  • fazer um ciclo com N SELECT's de X linhas por SELECT?
  • fazer um SELECT de todos as linhas da tabela?
  • outra forma? qual?

Nota: Usando um limite de X linhas por SELECT quantas linhas vou buscar se tiver 10 mil registos? e se tiver 1 milhão? Existe algum algoritmo?

Limitei a MySQL e innodb para não tornar a pergunta ampla de mais.

[EDIT]

Sabendo que essas linhas serão usadas no PHP para exportar para um ficheiro .xml com todos os campos da tabela.

4
  • 1
    Então acredito que o melhor seja uma única query. (Não posto como resposta porque não sei muito mais o que dizer.)
    – bfavaretto
    Commented 5/11/2014 às 12:35
  • A partir de qual linguagem de programação você vai buscar estes dados? A resposta à minha pergunta é determinante para responder a sua. Se você vai usar C#, por exemplo, o mais eficiente é 1 único SELECT, usando um DataReader para processar os resultados. Se for Delphi, você faz uma query com cursor no lado do servidor e faz 1 única query também. Se for uma procedure no próprio MySql, existem métodos específicos. Também é importante considerar o que você vai fazer com os dados obtidos da query.
    – Caffé
    Commented 5/11/2014 às 14:58
  • 1
    @JorgeB. No caso de muitos registros, a abordagem da minha resposta é exatamente o que você precisa, pois você já pode ir gravando o arquivo enquanto os registros vão retornando da base. Você aproveita o tempo para fazer duas operações pesadas em paralelo. E esta abordagem não será mais lenta no caso de poucos registros. Resta saber se PHP oferece este recurso. Pelo que vi, a solução está nesta documentação: php.net/manual/en/pdostatement.fetch.php Você pode testar esses cursores e descobrir qual retorna o controle imediatamente para o código enquanto a query ainda está sendo executada.
    – Caffé
    Commented 7/11/2014 às 16:15
  • 1
    @JorgeB. Se eu estiver agora entendendo melhor o espírito da sua pergunta original, acredito que você estava preocupado em saber sobre o comportamento do banco quanto às 3 alternativas que você propôs. Não tenha dúvida que neste cenário (1 tabela, todos os registros) a única que faz sentido para o banco é a terceira (fazer um único SELECT). Se em algum momento você observou alguma vantagem nas outras opções, isso se deu justamente devido ao ambiente à forma como você testou (estratégia de execução da consulta no aplicativo, consumo do resultado obtido e técnica de medição do tempo).
    – Caffé
    Commented 7/11/2014 às 17:05

3 Respostas 3

5

Considerações gerais sobre processamento de dados

Antes de mais nada, é importante mencionar que na maioria dos casos não existe uma forma de processamento de dados que seja mais rápida para qualquer volume de dados.

Quando fazemos ajuste de desempenho de aplicações, geralmente é necessário analisar como, quando e em que contexto os pontos mais críticos do sistema são utilizados. A partir dessa análise será possível identificar soluções que vão desde ajustes no banco de dados (de-normalização, criação de índices, alteração de tipos de dados), passam pela forma como os dados são recuperados (cursores, buffers, ordenação) e vão até o uso de caches locais ou distribuídos.

Enfim, a solução depende de muitas variáveis e não há uma regra geral.

Recuperando uma única linha

Tabelas pequenas dificilmente necessitam de alguma otimização. Você pode ler ela inteira e não vai afetar o desempenho geral da aplicação.

A menos, é claro, que ela seja lida milhares de vezes por segundo. Neste caso você pode guardar uma cópia dos dados em memória.

Agora, se você quisesse recuperar uma única linha dentre milhares, a melhor solução é ter um bom índice que acompanhe exatamente sua cláusula WHERE.

Considere a seguinte consulta:

select * from Pessoa where tipo_pessoa = ? and CPF = ?

Neste caso, seria ideal ter um índice sobre ambos os campos tipo_pessoa e CPF.

Recuperando todas as linhas de uma tabela

Ler uma tabela inteira de uma só vez, sem ter uma ideia da quantidade de registros é um desafio.

As soluções divisem-se basicamente em dois tipos: Leitura Completa e Leitura Parcial.

Leitura Completa

Ler a tabela por completo será a solução mais adequada se houver memória suficiente para isso. Afinal, não será preciso ficar "indo e voltando" ao banco de dados para recuperar novos valores.

Porém, dependendo do que há na tabela, um volume de 1 milhão de registros provavelmente vai ocupar mais memória do que desejamos.

De início até podemos chegar à conclusão de que podemos ter todos esses registros em memória. Porém, na maioria dos casos, múltiplos usuários estarão acessando o sistema ao mesmo tempo. Aí vem a pergunta: quantos usuários queremos atender?

Suponha que os registros ocupem 100 Megabytes em memória. Se tivermos um servidor com 1 Gigabyte livre, fazendo uma conta bem simples, então nosso sistema atenderia bem a 10 usuários. Passando disso, a paginação de memória em disco provavelmente degradaria o desempenho do programa até sua inutilização.

Outro problema é que carregar todos os dados em memória leva tempo. O usuário iria sentir uma diferença entre um sistema que lê 1 milhão de registros e depois escreve tudo de uma vez para ele e outro que envia dados parciais, ainda que o tempo total seja um pouco maior. Este é o motivo pelo qual acaba sendo necessário fazer paginação em muitos sistemas.

Portanto, a leitura completa de todos os dados de tabelas grandes quase sempre é inadequada para sistemas web.

Leitura Parcial

Para evitar o problema com memória e tempo de resposta, há então a alternativa de ler os dados parcialmente.

Não há só uma maneira de fazer isso.

Recuperando blocos com LIMIT

Uma abordagem é realizar varias queries que recuperam diferentes blocos de registros usando LIMIT.

Isso significa que você deve definir um tamanho de bloco e executar vários queries consecutivas. Um exemplo de queries executadas é:

select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 0, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 10, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 20, 10
select * from Pessoa where tipo_pessoa = ? and CPF = ? LIMIT 30, 10
....

O problema dessa abordagem é que há um overhead entre cada execução. O banco de dados terá um trabalha a mais para executar a cada bloco.

Consulta completa, resultados parciais

Outra forma de recuperar resultados parciais é utilizar uma consulta que selecione todos os registros da tabela, porém não retornar todos de uma vez para o banco de dados.

Evitamos assim que o banco de dados precise criar vários result sets e também rpecise carregar todos os dados em memória.

A ideia é que há no banco de dados uma espécie de cursor que vai lendo os dados na medida em que vamos recuperando.

No código cliente (PHP), na medida em que vamos usando os registros, descartamos as variáveis para que elas possam ser desalocadas da memória.

O ponto fraco dessa abordagem é manter um recurso aberto no servidor por mais tempo.

Leituras Completas e Parciais no PHP

O Manual do PHP tem um tópico sobre Buffered result sets e Unbuffered result sets.

Os buffered result sets são resultados que carregam todas as linhas retornadas em memória.

Exemplo:

$res = $mysqli->query("SELECT id FROM test ORDER BY id ASC");
for ($row_no = $res->num_rows - 1; $row_no >= 0; $row_no--) {
    $res->data_seek($row_no);
    $row = $res->fetch_assoc();
    echo " id = " . $row['id'] . "\n";
}

Como está tudo em memória, você pode mover-se para qualquer posição do vetor de resultados usando o método data_seek(n).

Por outro lado, os unbuffered result sets percorrem os resultados sem armazená-los em memória, sendo indicado quando não há memória suficiente disponível.

Exemplo:

$mysqli->real_query("SELECT id FROM test ORDER BY id ASC");
$res = $mysqli->use_result();

echo "Result set order...\n";
while ($row = $res->fetch_assoc()) {
    echo " id = " . $row['id'] . "\n";
}

Estudo de caso

Há poucos dias aqui onde trabalho uma aplicação estava sofrendo de problemas de desempenho para leitura do resultado de uma consulta que retornava aproximadamente 30 mil linhas, com subsequente geração de um arquivo texto. O tempo de execução original era de aproximadamente 20 minutos.

Primeiro, verificamos se a própria consulta não era o problema. Encontramos alguns problemas, mas nada que justificasse os 20 minutos, pois ela demorava aproximadamente 1 minuto.

Segundo, verificamos a geração do arquivo e também descartamos que fosse ali o problema.

Terceiro, verificamos também que os dados eram todos carregados em memória, mas era uma carga aceitável para o servidor em uso.

Enfim, identificamos que o problema estava no tempo de leitura dos resultados da consulta para o Java.

Pesquisando sobre o Driver para o banco de dados Oracle, vimos que por padrão ele faz um buffer de 10 registros de cada consulta. Isso significa que ao percorrer os 30 mil registros, o Driver transfere 10 por vez.

Modificamos o parâmetro do buffer para 100 e o desempenho melhorou bastante. Agora ao invés de haver 3 mil chamadas ao banco (10 em 10), eram apenas 300 (100 em 100). Fizemos vários testes e chegamos ao valor de 300 registros de buffer para aquele ambiente. Mais ou menos do que isso fazia o desempenho piorar. Além disso, os resultados não eram os mesmos em outros ambientes com diferente quantidade de memória disponível.

O tempo final caiu para 2 minutos. Com o mesmo código, apenas modificando um determinado parâmetro, mudamos completamente o cenário daquela funcionalidade.

Infelizmente, não encontrei um parâmetro semelhante ao mencionado acima para o PHP.

Outras dicas

Além de tudo que foi mencionado acima, algumas dicas podem ser úteis:

  • Selecione o mínimo de colunas possível na sua consulta para minimizar o uso de memória e tempo de transferência
  • Sempre faça ordenação dos dados de forma que use um índice
  • É possível contar quantos registros tem a tabela e usar um algoritmo alternativo dependendo da situação

Conclusão

Existem vários mecanismos para fazer leitura de muitos dados.

Porém, a única conclusão absoluta é que será necessário realizar testes para determinar a melhor solução. Não esqueça de considerar o ambiente onde o sistema vai executar (CPU, memória, disco, etc.).

1
  • 1
    Excelente resposta @utluiz.
    – Jorge B.
    Commented 10/11/2014 às 14:35
2

A técnica para se processar, no aplicativo, um grande volume de dados obtidos de um SGBD é:

  1. Disparar a consulta (o SELECT) de maneira assíncrona,
  2. Iniciar imediatamente o processamento dos registros já retornados,
  3. Prosseguir processando os registros na medida em que eles vão sendo entregues pelo servidor (geralmente o servidor ainda nem terminou de selecionar todos os registros),
  4. Descartar os registros já processados de modo a liberar memória para os novos registros que ainda estão chegando,
  5. Identificar que não há mais registros a serem entregues pelo servidor e encerrar o processo.

É lógico que esta técnica só se aplica quando os registros são obtidos para leitura somente (seu processamento acarretará a mudança de outras tabelas ou tabela nenhuma) e quando a lógica de processamento permite uma leitura somente à frente (não há intenção de voltar a processar um registro já lido).

O modo de implementar esta técnica varia conforme a linguagem de programação utilizada.

Em C#, por exemplo, utiliza-se o DataReader:

using (connection)
{
    OleDbCommand command = new OleDbCommand(
      "SELECT CategoryID, CategoryName FROM Categories;",
      connection);
    connection.Open();

    // aqui o select é executado contra o banco
    OleDbDataReader reader = command.ExecuteReader();

    // o controle é retornado para o código imediatamente,
    // ou seja, a linha abaixo pode ser executada mesmo antes de o servidor
    // terminar de selecionar o registros
    if (reader.HasRows)
    {
        // a linha abaixo provoca a leitura de uma linha
        while (reader.Read())
        {
            Console.WriteLine("{0}\t{1}", reader.GetInt32(0),
                reader.GetString(1));

        } // os dados já lidos ficam disponíveis para serem liberados da memória
    }
    reader.Close();
}

Veja que esta abordagem é semelhante à sua de repetir várias vezes o SELECT limitando a quantidade de registros retornada em cada um; mas esta aqui usando recursos da plataforma de programação é muito mais performática.

Programando apenas em MySql (stored procedures) também é possível implementar esta técnica utilizando cursores.

Update: dado que a pergunta foi atualizada com a tag PHP, segue um exemplo de cursor em PHP, utilizando PDO:

<?php
function readDataForwards($dbh) {
  $sql = 'SELECT hand, won, bet FROM mynumbers';
  try {
    $stmt = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL));
    $stmt->execute();
    while ($row = $stmt->fetch(PDO::FETCH_NUM)) {
      $data = $row[0] . "\t" . $row[1] . "\t" . $row[2] . "\n";
      print $data;
    }
    $stmt = null;
  }
  catch (PDOException $e) {
    print $e->getMessage();
  }
}
?>

Eu adaptei este exemplo do manual do PHP.

5
  • Mas a pergunta mantém-se qual das formas é a mais rápida a rodar... Essa forma é a mais rápida de todas?
    – Jorge B.
    Commented 5/11/2014 às 15:32
  • Tens como provar isso que estás a dizer? Eu testei aqui e os resultados variam muito dependendo da quantidade de linhas... Para poucas linhas é mais rápido o ponto 1. para centenas de linhas já é mais rápido o ponto 3. para milhares de linhas é mais rápido o ponto 2 se definires um N e um X mais ou menos decente.
    – Jorge B.
    Commented 5/11/2014 às 15:40
  • @JorgeB. Sim, eu tenho como provar, mas não preciso e não tenho tempo. Você está no caminho certo: fazendo testes para descobrir o que é melhor para você. Considerando o cenário que eu descrevi na minha resposta, este é sem dúvida o jeito mais performático.
    – Caffé
    Commented 5/11/2014 às 15:43
  • O problema é achar um método mais rápido que sirva a todas as condicionantes...
    – Jorge B.
    Commented 5/11/2014 às 15:49
  • 1
    @JorgeB. Infelizmente não existe um método mais rápido para todas as situações. Tome como exemplo os algoritmos de ordenação. O Bubble Sort, um dos algoritmos mais "estúpidos", é mais rápido que o Quick Sort, considerado muito mais eficiente, para pequenas quantidades de dados.
    – utluiz
    Commented 10/11/2014 às 12:49
-2

Depende do que você quer buscar.

Uma linha específica? um determinado conjunto de linhas? todas as linhas?

Segue uma explicação resumida com sugestão para o estudo e avaliação do seu caso.

Quando você filtra uma linha específica usando um index a consulta tende a ser mais eficiente, já que retorna poucas informações (apenas uma linha linha) e a consulta é feita através da estrutura de índices, usando busca binária, muito mais performática.

Se você quiser buscar um conjunto de linhas de acordo com uma outra condição, executar diversas vezes uma query retornando uma linha será, sem dúvida, mais custoso, mesmo que sejam índices. O ideal é elaborar uma query eficiente, usando o mínimo de joins, functions, etc, talvez deixando para que o seu programa faça esse trabalha, tirando assim trabalho do banco e passando-o para a aplicação. Outros aspectos também devem ser avaliados, se a sua consulta de um determinado conjunto de linhas utilizar sempre a(s) mesma(s) colunas(s), transforme-as em índices primários (clustered) para valores únicos e secundários (nonclustered) para campos que os valores se repetem.

Para capturar todas as linhas basta não filtrar. Para pegar todas linhas é o mais performático? Sim, mas retorna um grande volume de dados, utilizando muito recurso físico como memória e também pode dar um crash na sua aplicação devido ao volume. O ideal para selecionar todas as linhas (ou muitas linhas mesmo com filtro) é pagina-las utilizando LIMIT X,Y que é uma operação simples feita em cima do resultado processado, descartando X primeiras linhas e selecionando apenas as primeiras Y linhas do que sobrou.

Existem muitas técnicas de otimização de querys desde a modelagem do banco, normalização, configurações no servidor, captura de logs de querys lentas, boas práticas, utilização de índices primários e secundários, uso cauteloso de comandos que desgastam o banco (JOIN por exemplo), etc.

Os exemplos citados no parágrafo anterior seguem como sugestões para estudo para que sua capacidade de análise fique apurada para compreender as necessidades de bancos específicos, cada um com suas particularidades.

4
  • 2
    Todas as linhas, diz na pergunta
    – Jorge B.
    Commented 5/11/2014 às 13:31
  • Todas as linhas basta não usar a cláusula WHERE. Porém, pense bem, o que sua aplicação faria de uma só vez com 1 milhão ou 10 mil registros? O ideal nesse caso é paginar mesmo, trazendo o suficiente para o usuário ver, caso ele queira ver mais, ele navegaria para a segunda página, terceira, quarta, até a página n, e isso seria independente da quantidade de registros. Não iria penalizar a aplicação com sobrecarga de informações desnecessárias já que ninguém consegue ver 10 mil registros de uma só vez por exemplo e não sobrecarregaria o banco, afinal, como dito, o uso do LIMIT não é custoso. Commented 5/11/2014 às 13:47
  • 1
    @thiagobarradas Acho que você não entendeu a pergunta. O Jorge não quer saber como se faz em SQL para selecionar todas as linhas, portanto não adianta dizer que é só "não usar a cláusula where". Ele quer saber como fazer isso de forma eficiente. Por exemplo, dificilmente você vai ter memória no servidor para carregar um milhão de linhas, então teria que ler elas em partes. Pra que isso? Exemplo: um sistema de contabilidade usado em um mercado ou loja precisa gerar arquivos e relatórios com todos os produtos vendidos no mês. Já vi um caso com 3 milhões, sendo apenas um mercadinho.
    – utluiz
    Commented 7/11/2014 às 16:45
  • Na minha resposta eu falo sobre isso, basta ler com atenção. att Commented 7/11/2014 às 18:30

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .