Alguém poderia me ajudar a entender porque o Postgresql errou várias estimativas de custos em um experimento que fiz.
Estou fazendo um experimento com 22 queries do Benchmark TPCH[1], para verificar o desempenho de índices nas consultas.
De 22 consultas, somente 5 consultas foi verificado que o otimizador utilizou índices secundários. Em um outro experimento, foram executados as 5 queries citadas num Banco de dados sem a presença de índices, visando identificar se o tempo de execução aumentaria devido a ausência de índices.
Mas para minha surpresa, o experimento sem a presença de índices na base de dados, foi mais rápido do que utilizando os índices (para as 22 consultas) .
Gostaria de entender, porque o parâmetro custo total errou em todos os casos, ou seja, todas as consultas que gastaram mais tempo, indicou um custo menor - em todos os 5 casos, que esta incorreto na minha opinião.
Vejam abaixo, que a primeira linha refere-se a query 6 que utilizou
índice, o custo foi 3335809, menor do que o custo 5255959, da mesma
query
6 que não utilizou índice
.
Também vejam o tempo gasto. A query
que utilizou índice gastou 7 minutos enquanto sem o uso de índices demorou 55 segundos. Esse comportamento se estendeu aos outros casos.
Minha pergunta é: Porque o custo total (execution plan
) calcula incorretamente o custo, para todos os casos em que se tem índices?
Índices |Query |Tempo_Gasto |Custo_Total
===============================================
Sim 6 00:07:56 3335809.61
Nao 6 00:00:55 5255959.00
Sim 7 00:09:16 5847359.97
Nao 7 00:02:08 6793148.45
Sim 10 00:07:04 40743017.17
Nao 10 00:02:14 41341406.62
Sim 15 00:10:03 6431359.90
Nao 15 00:01:56 9608659.87
Sim 20 00:12:48 8412159.69
Nao 20 00:05:49 9537835.93
=============================================
Por questões de uso de um Patch
especifico do meu projeto de pesquisa, estou utilizando uma versão antiga 9.0.1 (do ano 2012).
Eu não modifiquei os parâmetros padrões, somente o random_page_cost
para 1, pois estou utilizando um disco SSD, onde o custo de acesso aleatório é menor que em um HDD. Segue o que esta no meu postgresql.conf
max_connections = 100
effective_io_concurrency = 5
#seq_page_cost = 1.0
random_page_cost = 1.0
#cpu_tuple_cost = 0.01
#cpu_index_tuple_cost = 0.005
#cpu_operator_cost = 0.0025
#effective_cache_size = 128MB
Será que algum destes parâmetros interferiram para acontecer esse erro nas estatísticas de custos?
Segue a query 6 e o seu Explain Analyse com e sem índices.
------------- QUERY 6 ---------------------------------------------
select
sum(l_extendedprice * l_discount) as revenue
from
lineitem
where
l_shipdate >= date '1995-01-01'
and l_shipdate < date '1995-01-01' + interval '1' year
and l_discount between 0.09 - 0.01 and 0.09 + 0.01
and l_quantity < 24;
---- COM ÍNDICE (idx_l_shipdatelineitem000)-------------------
Plano Execucao:Aggregate (cost=3335809.59..3335809.61 rows=1
width=16) (actual time=476033.847..476033.847 rows=1 loops=1)
-> Bitmap Heap Scan on lineitem (cost=376416.20..3330284.29
rows=2210122 width=16) (actual time=375293.183..471695.391
rows=2282333 loops=1)
Recheck Cond: ((l_shipdate >= _1995-01-01_::date) AND
(l_shipdate < _1996-01-01 00:00:00_::timestamp without time zone))
Filter: ((l_discount >= 0.08) AND (l_discount <= 0.10) AND
(l_quantity < 24::numeric))
-> Bitmap Index Scan on idx_l_shipdatelineitem000
(cost=0.00..375863.67 rows=17925026 width=0) (actual
time=375289.456..375289.456 rows=18211743 loops=1)
Index Cond: ((l_shipdate >= _1995-01-01_::date) AND
(l_shipdate < _1996-01-01 00:00:00_::timestamp without time
zone))Total runtime: 476034.306 ms
------------------ SEM USO DE ÍNDICE ----------------------------
Plano Execucao:Aggregate (cost=5255958.99..5255959.00 rows=1
width=16) (actual time=55051.051..55051.051 rows=1 loops=1)
-> Seq Scan on lineitem (cost=0.00..5250433.68 rows=2210122
width=16) (actual time=0.394..52236.276 rows=2282333 loops=1)
Filter: ((l_shipdate >= _1995-01-01_::date) AND (l_shipdate <
_1996-01-01 00:00:00_::timestamp without time zone)
AND (l_discount >= 0.08) AND (l_discount <= 0.10) AND
(l_quantity < 24::numeric))Total runtime: 55051.380 ms
Qualquer dica é bem vinda!!
l_shipdate
, mas suas condições de filtragem dependem do acesso aos valores dos registros. Há diferença nos tempos se for criado um índice composto com os campos[l_shipdate, l_quantity, l_discount]
?WHERE
possuem índices ? Qual é o volume dos dados contidos em suas tabelas ? Que tal um exemplo prático no SQLFiddle ?