49

Alguém poderia me ajudar a entender porque o Postgresql errou várias estimativas de custos em um experimento que fiz.

Estou fazendo um experimento com 22 queries do Benchmark TPCH[1], para verificar o desempenho de índices nas consultas.

De 22 consultas, somente 5 consultas foi verificado que o otimizador utilizou índices secundários. Em um outro experimento, foram executados as 5 queries citadas num Banco de dados sem a presença de índices, visando identificar se o tempo de execução aumentaria devido a ausência de índices.

Mas para minha surpresa, o experimento sem a presença de índices na base de dados, foi mais rápido do que utilizando os índices (para as 22 consultas) .

Gostaria de entender, porque o parâmetro custo total errou em todos os casos, ou seja, todas as consultas que gastaram mais tempo, indicou um custo menor - em todos os 5 casos, que esta incorreto na minha opinião.

Vejam abaixo, que a primeira linha refere-se a query 6 que utilizou índice, o custo foi 3335809, menor do que o custo 5255959, da mesma query 6 que não utilizou índice.

Também vejam o tempo gasto. A query que utilizou índice gastou 7 minutos enquanto sem o uso de índices demorou 55 segundos. Esse comportamento se estendeu aos outros casos.

Minha pergunta é: Porque o custo total (execution plan) calcula incorretamente o custo, para todos os casos em que se tem índices?

Índices  |Query   |Tempo_Gasto     |Custo_Total
===============================================
Sim       6        00:07:56         3335809.61
Nao       6        00:00:55         5255959.00
Sim       7        00:09:16         5847359.97
Nao       7        00:02:08         6793148.45
Sim       10       00:07:04         40743017.17
Nao       10       00:02:14         41341406.62
Sim       15       00:10:03         6431359.90
Nao       15       00:01:56         9608659.87
Sim       20       00:12:48         8412159.69
Nao       20       00:05:49         9537835.93
=============================================

Por questões de uso de um Patch especifico do meu projeto de pesquisa, estou utilizando uma versão antiga 9.0.1 (do ano 2012).

Eu não modifiquei os parâmetros padrões, somente o random_page_cost para 1, pois estou utilizando um disco SSD, onde o custo de acesso aleatório é menor que em um HDD. Segue o que esta no meu postgresql.conf

max_connections = 100 
effective_io_concurrency = 5 
#seq_page_cost = 1.0                    
random_page_cost = 1.0                  
#cpu_tuple_cost = 0.01                  
#cpu_index_tuple_cost = 0.005        
#cpu_operator_cost = 0.0025             
#effective_cache_size = 128MB

Será que algum destes parâmetros interferiram para acontecer esse erro nas estatísticas de custos?

Segue a query 6 e o seu Explain Analyse com e sem índices.

------------- QUERY 6 ---------------------------------------------
select
    sum(l_extendedprice * l_discount) as revenue
from
    lineitem
where
    l_shipdate >= date '1995-01-01'
    and l_shipdate < date '1995-01-01' + interval '1' year
    and l_discount between 0.09 - 0.01 and 0.09 + 0.01
    and l_quantity < 24;

---- COM ÍNDICE (idx_l_shipdatelineitem000)-------------------
Plano Execucao:Aggregate  (cost=3335809.59..3335809.61 rows=1
width=16) (actual time=476033.847..476033.847 rows=1 loops=1)
 ->  Bitmap Heap Scan on lineitem  (cost=376416.20..3330284.29
rows=2210122 width=16) (actual time=375293.183..471695.391
rows=2282333 loops=1)
       Recheck Cond: ((l_shipdate >= _1995-01-01_::date) AND
(l_shipdate < _1996-01-01 00:00:00_::timestamp without time zone))
        Filter: ((l_discount >= 0.08) AND (l_discount <= 0.10) AND
(l_quantity < 24::numeric))
        ->  Bitmap Index Scan on idx_l_shipdatelineitem000
(cost=0.00..375863.67 rows=17925026 width=0) (actual
time=375289.456..375289.456 rows=18211743 loops=1)
              Index Cond: ((l_shipdate >= _1995-01-01_::date) AND
(l_shipdate < _1996-01-01 00:00:00_::timestamp without time
zone))Total runtime: 476034.306 ms


------------------ SEM USO DE ÍNDICE ----------------------------
Plano Execucao:Aggregate  (cost=5255958.99..5255959.00 rows=1
width=16) (actual time=55051.051..55051.051 rows=1 loops=1)
  ->  Seq Scan on lineitem  (cost=0.00..5250433.68 rows=2210122
width=16) (actual time=0.394..52236.276 rows=2282333 loops=1)
        Filter: ((l_shipdate >= _1995-01-01_::date) AND (l_shipdate <
_1996-01-01 00:00:00_::timestamp without time zone)
        AND (l_discount >= 0.08) AND (l_discount <= 0.10) AND
(l_quantity < 24::numeric))Total runtime: 55051.380 ms

Qualquer dica é bem vinda!!

3
  • 7
    Qual a estrutura do índice? Pelo explain, aparentemente o índice está aplicado apenas à coluna l_shipdate, mas suas condições de filtragem dependem do acesso aos valores dos registros. Há diferença nos tempos se for criado um índice composto com os campos [l_shipdate, l_quantity, l_discount]? 28/08/2017 às 12:29
  • 6
    Que tipo de índice você está usando para indexar os campos ? Todos os campos que fazem parte do seu WHERE possuem índices ? Qual é o volume dos dados contidos em suas tabelas ? Que tal um exemplo prático no SQLFiddle ?
    – Lacobus
    20/10/2017 às 2:09
  • 7
    Pra gente responder essa pergunta será necessário passar os dados contidos nas tabelas. O postgre faz o planejamento com base em estimativas dos dados (inclusive é por isso que você precisa atualizar essas estimativas periodicamente, para sempre relfetir o estado atual do banco).
    – Gabriel
    12/05/2018 às 18:12

1 Resposta 1

1

Analisando sua Query temos alguns fatores que atrapalham seu Índice onde em vez de ajudar ele se torna uma âncora.

Índices são muito bons com números ou hashs que são praticamente intocáveis sobre seu conteúdo e atualização.

Você está usando um campo de datetime como índice é uma prática ruim pois o postgres não analisa a data de forma linear ele faz conversões o tempo todo baseado no timestamp atual no seu fuso horário etc.

Claramente quando vc chama o Date para fazer uma conversão em sua cláusula where para que seja analisado apenas dia mês e ano seu Índice original que leva em consideração todo o timestamp com hora minutos e segundos não é mais válido.

Afinal se vc tinha um índice para 2022-06-12 05:00:00 e outro para 2022-06-12 06:00:00 eles passam serem concorrentes pois possuem diante da conversão o mesmo valor isso é terrível para o Índice pois ele ainda quer encontrar o mais próximo do match correto e se esses valores estão distante dentro da árvore binária esse caminho a ser percorrido será praticado somado a conversão que custa tempo adicional ao seu banco de dados.

Sua consulta sem índice por outro lado apenas converte encontra e não percorre árvore nenhuma, nesse contexto será muito mais eficiente.

Aqui há uma explicação sobre o assunto, em inglês.

https://use-the-index-luke.com/sql/where-clause/obfuscation/dates

Faça uma pequena mudança em sua tabela apenas para ver a diferença. Grave a data convertida como texto. Remova o índice anterior, crie um novo faça a mesma consulta claro sem o conversor afinal o campo agora é texto.

Compartilhe conosco a melhoria.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .