18

Tendo por base este exemplo, onde o resultado será usado para calcular a percentagem da ocorrência de cada 'tipo', qual das abordagens é mais eficiente/rápida?

Usar uma subquery no SELECT para calcular o total de registos:

SELECT tipo, COUNT(*) AS Parcial, (SELECT COUNT(*) FROM tabela) AS Total FROM tabela
GROUP BY tipo;  

Ou usar duas querys, uma para calcular o total de registos:

SELECT COUNT(*) AS Total FROM tabela;  

e outra para calcular o total por 'tipo'

SELECT tipo, COUNT(*) AS Parcial FROM tabela
GROUP BY tipo;

Existem outras formas mais eficientes de o fazer?

3
  • 1
    Depende de como voce usa a sua subquery. No seu exemplo como ja exposto na repsosta ela só roda uma vez. Mas caso a sua subquery, dependa do valor do registro, esta é executada N vezes registros. Ex: SELECT Codigo, (SELECT T2.Descricao FROM TABELA2 T2 WHERE T2.Codigo = T1.Codigo_T2) FROM TABELA1 T1 Commented 12/01/2016 às 17:59
  • Olá ramaral, criei a tabela de teste, só que uma coisa é porque esta usando 2 ponto-de-virgula? isso pra finalizar, veja a terceira opção está errado, o certo é ser sem o ponto-de-virgula no final e depois o GROUP. Tenta select tipo, count(*) as parcial from tabela group by tipo;
    – KingRider
    Commented 30/06/2016 às 17:39
  • @KingRider Você tem razão em relação ao ponto e virgula, ele está a mais, foi erro ao digitar.
    – ramaral
    Commented 1/07/2016 às 12:56

3 Respostas 3

10

Creio que essa pergunta exige ser melhor explorada. Não existe uma resposta geral, já que isso depende da implementação de cada engine de banco de dados. A linguagem SQL é declarativa. Você diz o que quer e não como obter. O como fica por conta da engine. Em alguns casos é possível dar uma dica (hint) para a engine, mas não mudar radicalmente a maneira como ela trabalha.

Assim, o que vou mostrar aqui são testes que fiz no SQL Server 2005.

Meus testes se basearam em duas queries. A primeira delas está na pergunta. A segunda (cross-join), está nessa resposta. Veja abaixo:

Query 1

SELECT
    NUMBER,
    (SELECT COUNT(*) FROM NUMBERS)
FROM
    NUMBERS

Query 2

SELECT
    NUMBER,
    TOTAL.T
FROM
    (SELECT COUNT(*) T FROM NUMBERS) TOTAL,
    NUMBERS

Tabela Numbers

A criação e preenchimento da tabela Numbers (999999 de registros) pode ser vista abaixo.

CREATE TABLE [dbo].[Numbers](
    [Number] [int] NOT NULL,
PRIMARY KEY CLUSTERED
(
    [Number] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

--1 milhão de registros são adicionados
insert into Numbers(Number)
select top 1000000 row_number() over(order by t1.number) as N
from   master..spt_values t1
       cross join master..spt_values t2

Hipótese

A hipótese é que não é feito um SELECT COUNT(*) pra cada registro no caso da Query 1.

É uma otimização simples e que os programadores do SQL Server não deixariam passar. Notem que o (SELECT COUNT(*) FROM NUMBERS) é completamente independente da query. O valor dele pode ser calculado uma vez, armazenado e apenas colocado no retorno do SQL (como se fosse uma constante).

Análise

A imagem abaixo mostra o plano de execução da Query 1:

Plano de Execução da Query 1

Já essa imagem mostra o plano de execução da Query 2:

Plano de Execução da Query 2

A única diferença é um operador chamado Computer Scalar. O restante dos operadores é exatamente igual na posição dentro da árvore e nos valores computados/estimados pelo planner do SQL Server. O Computer Scalar tem um custo estimado 2% para este caso.

Fui um pouco mais além e fiz uma análise utilizando o Profile do SQL Server. Vejam o retorno:

Profile do SQL Server para Query 1 e 2

O mais importante a se notar aqui é que o número de Reads (leituras) das duas queries é igual. Já o tempo da Query 1 é um pouco maior exatamente devido ao consumo de CPU (também um pouco maior). Certamente é operador Computer Scalar mostrado acima.

Ainda no profile, verifiquei qual o custo para se executar apenas a instrução abaixo:

SELECT COUNT(*) FROM NUMBERS

O resultado pode ser visto abaixo:

Profile apenas para o count

Conclusão

Diante do exposto, é possível perceber que a hipótese levantada está correta e que o Planner do SQL Server 2005, no contexto apresentado, não executou uma operação de count pra cada linha retornada. Muito possivelmente as outras engines de bancos também otimizam consultas como essa, com objetivo de evitar processamento desnecessário.

Note que, mesmo assim, a Query 2 tem um desempenho ligeiramente melhor e pode ser a indicada por isso. Entretanto, deve-se ficar claro que o objetivo aqui não foi comparar o desempenho das duas queries, mas mostrar que não é feito um count(*) por registro no SQL da Query 1.

4
  • Só não sei se pode dizer que o gasto com CPU é igual a 78*1000000 já que aí estará também incluído o gasto na preparação da query, que no caso da Query 1 é uma vez e aqui você está a considerar 78 vezes.
    – ramaral
    Commented 13/08/2015 às 11:00
  • eu fiz um teste executando de uma vez 20 SELECT COUNT(*) e o custo somado foi ~1500 de CPU. Dividindo isso por 20 dá ~75. Acredito que, nesse caso, o plano é reaproveitado. De qualquer maneira, concordo que é uma afirmação um pouco forte e falta embasamento. Vou retirá-la.
    – cantoni
    Commented 13/08/2015 às 11:08
  • @ramaral, só para esclarecer: quando eu disse custo somado, não foi algo que somei um por um. O Profile do SQL Server exibiu apenas um evento para as 20 queries executadas. Eu que peguei o valor e fiz a divisão por 20.
    – cantoni
    Commented 13/08/2015 às 11:10
  • Downvoter, sinta-se à vontade para apontar o problema em minha resposta; agradeço desde então.
    – cantoni
    Commented 13/01/2016 às 16:07
8

Achei importante as considerações do Cantoni, e creio que a questão da performance vai além da estrutura de como montar a consulta, claro que influencia e muito, mas chega a um ponto onde o próprio SGBD é quem resolve, então coloquei uma resposta baseada no mysql.

Testei com o sql do Ramal e do Rafael Guerreiro(ajustado pois do jeito que esta postado da erro) segue abaixo o explain

Abaixo consulta baseada na técnica do Ramaral.

    mysql> explain  SELECT comp_pago, COUNT(*) AS Parcial, (SELECT COUNT(*) FROM tab_controle_compras_item) AS Total FROM tab_controle_compras_item GROUP
 BY comp_pago;
+----+-------------+---------------------------+-------+---------------+----------------+---------+------+------+---------------------------------+
| id | select_type | table                     | type  | possible_keys | key            | key_len | ref  | rows | Extra                           |
+----+-------------+---------------------------+-------+---------------+----------------+---------+------+------+---------------------------------+
|  1 | PRIMARY     | tab_controle_compras_item | ALL   | NULL          | NULL           | NULL    | NULL | 8780 | Using temporary; Using filesort |
|  2 | SUBQUERY    | tab_controle_compras_item | index | NULL          | fk_comp_id_idx | 4       | NULL | 8780 | Using index                     |
+----+-------------+---------------------------+-------+---------------+----------------+---------+------+------+---------------------------------+

Abaixo consulta baseada na técnica do Rafael Guerreiro

mysql> explain  SELECT tab.comp_pago, COUNT(1) AS Parcial,tot.total     FROM tab_controle_compras_item tab,             (SELECT COUNT(*) as total FRO
M tab_controle_compras_item) as tot     GROUP BY tab.comp_pago;
+----+-------------+---------------------------+--------+---------------+----------------+---------+------+------+---------------------------------+
| id | select_type | table                     | type   | possible_keys | key            | key_len | ref  | rows | Extra                           |
+----+-------------+---------------------------+--------+---------------+----------------+---------+------+------+---------------------------------+
|  1 | PRIMARY     | <derived2>                | system | NULL          | NULL           | NULL    | NULL |    1 | Using temporary; Using filesort |
|  1 | PRIMARY     | tab                       | ALL    | NULL          | NULL           | NULL    | NULL | 8780 | NULL                            |
|  2 | DERIVED     | tab_controle_compras_item | index  | NULL          | fk_comp_id_idx | 4       | NULL | 8780 | Using index                     |
+----+-------------+---------------------------+--------+---------------+----------------+---------+------+------+---------------------------------+

Ao meu ver as consultas até agora apresentadas são apenas outras formas de obter a mesma performance, vou acompanhar pois também tenho interesse nesse assunto, espero que alguém consiga demonstrar algo mais eficiente se for possível.

Cheguei a um resultado satisfatório pois foi feito apenas um único full scan segue abaixo:

    mysql> explain SELECT COUNT(IF(comp_pago=1,1, NULL)) 'pagas', COUNT(IF(comp_pago=0,1, NULL)) 'nao pagas' FROM tab_controle_compras_item;
+----+-------------+---------------------------+------+---------------+------+---------+------+------+-------+
| id | select_type | table                     | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+---------------------------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | tab_controle_compras_item | ALL  | NULL          | NULL | NULL    | NULL | 8780 | NULL  |
+----+-------------+---------------------------+------+---------------+------+---------+------+------+-------+
1 row in set (0.00 sec)

Segue abaixo fonte de referencia:

http://www.mysqltutorial.org/mysql-count/

1
  • 1
    +1 Ninja, então sua análise corrobora com a que fiz para o SQL Server 2005, ou seja, ambas as engines realizam uma otimização para não ter que executar um select count(*) pra cada registro retornado. Esse é o comportamento esperado de engines complexas como essas.
    – cantoni
    Commented 12/01/2016 às 17:17
7

Da forma como foi feita, o count será executado para cada linha do select. O mesmo seria caso você usasse a subquery na cláusula where.

Para você executar esse segundo count uma única vez, basta fazer um plano cartesiano:

SELECT tab.tipo, COUNT(1) AS Parcial, tot.total
FROM tabela tab,
    (SELECT COUNT(*) total FROM tabela) tot
GROUP BY tab.tipo;
2
  • Rafael tentei executar seu sql e retornou erro "unknown column tot.total" (rodei em mysql) Commented 17/11/2015 às 10:59
  • Eu esqueci de dar um alias para o count(*): (SELECT COUNT(*) total FROM tabela) tot Commented 29/11/2015 às 2:14

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .