4

Bom dia, estou em um projeto em que devo montar gráficos com base em consultas realizadas em um banco Postgres.

Esse banco tem uma estrutura para BI e as tabelas possuem na média 40 milhões de linhas.

As consultas que devo realizar no banco, estão sendo feita através de querys nativas pelo JPA, essas consultas chegam a demorar até 5 minutos para retornar os dados, mas quando executado no PgAdmin ou no DBeaver (ide generico para bancos com base no ide do eclipse), o tempo de retorno é de 20ms.

A aplicação é em EJB, utilizando JPA e Hibernate, utilizamos o JBoss EAP 6.3 como middleware, a conexão com o banco esta sendo gerenciado pelo proprio JBoss, poderia ser alguma configuração dele ou o problema é outro mesmo?

Consulta

select date_part('day', dt.dta) dia,    
    sum(distinct(fp.valorvendido)) venda,   
    sum(distinct(fp.valortotalcustodia)) custo,     
    sum(distinct(fp.valorlucrototal)) lucro,    
    round(((sum(fp.valorlucrototal) / sum(fp.valortotalcustodia)) * 100),2) margem,     
    sum(distinct(dp.qtdvendido)) qtd_vendido 
from ft_produto fp  
    inner join dmn_tempo dt         
        on dt.dta = ft.dta 
where fp.nrodivisao in (1, 2, 3)    
    and fp.nroempresa = 9   
    and fp.nrosegmento in (1, 2, 3, 4, 7, 8, 9, 10)     
    and dt.anomes = 201604  
    and fp.seqproduto = 20615 
group by dt.dta order by dia

Plano de executção gerado pelo PgAdmin

"Sort  (cost=444.86..444.86 rows=1 width=34)"
"  Sort Key: (date_part('day'::text, dt.dta))"
"  ->  GroupAggregate  (cost=444.27..444.85 rows=1 width=34)"
"        ->  Merge Join  (cost=444.27..444.81 rows=1 width=34)"
"              Merge Cond: (fp.dta = dt.dta)"
"              ->  Sort  (cost=434.74..434.99 rows=100 width=34)"
"                    Sort Key: fp.dta"
"                    ->  Bitmap Heap Scan on ft_produto dp  (cost=27.15..431.41 rows=100 width=34)"
"                          Recheck Cond: ((nroempresa = 9) AND (nrodivisao = ANY ('{1,2,3}'::bigint[])) AND (seqproduto = 20615))"
"                          Filter: (nrosegmento = ANY ('{1,2,3,4,7,8,9,10}'::integer[]))"
"                          ->  Bitmap Index Scan on ind_dmn_produto15  (cost=0.00..27.13 rows=101 width=0)"
"                                Index Cond: ((nroempresa = 9) AND (nrodivisao = ANY ('{1,2,3}'::bigint[])) AND (seqproduto = 20615))"
"              ->  Sort  (cost=9.51..9.59 rows=30 width=8)"
"                    Sort Key: dt.dta"
"                    ->  Index Scan using ind_dmn_tempo01 on dmn_tempo dt  (cost=0.00..8.78 rows=30 width=8)"
"                          Index Cond: (anomes = 201604)"
12
  • 1
    Dá uma olhada na consulta gerada pelo Hibernate e como esta mesma consulta chega ao banco de dados. Provavelmente os parâmetros passados podem não estar coincidindo com o tipo correto no banco e, assim, não utilizando o índice das colunas nas tabelas. No SQL Server, por exemplo, já fiz uma consulta por campo texto que esperava que o parâmetro passado chegasse como VARCHAR mas o driver jTDS colocava um N na frente, convertendo para NVARCHAR.
    – Dherik
    Commented 1/08/2016 às 13:19
  • @Dherik Então já fiz isso, a mesma consulta que executo na aplicação a que lega 5 minutos, quando executada nas ides leva 20~30ms, isso que estou achando estranho
    – João
    Commented 1/08/2016 às 13:28
  • Você viu como os parâmetros estão chegando no banco de dados nesta consulta? Você precisa ter certeza se a consulta que chega ao banco de dados e que ele executa é exatamente a mesma que você usa ao executar no PdAgmin. Seria interessante mostrar como você captura o SQL executado pelo banco de dados e como captura o SQL gerado pelo Hibernate, talvez o problema esteja em como você está investigando o problema.
    – Dherik
    Commented 1/08/2016 às 13:35
  • @Dherik Sim, confirmei os parametros no debug da aplicação, e os testes que executei nas ides são exatamente as mesmas.
    – João
    Commented 1/08/2016 às 13:38
  • @João o resultado da consulta é uma Lista de Object ? Você pode ativar as estatísticas do Hibernate e ver quanto tempo precisamente ele gasta com a execução do select. Para ativar dá uma olhada nessa resposta: stackoverflow.com/questions/12656452/…
    – adelmo00
    Commented 1/08/2016 às 13:38

1 Resposta 1

2

Dê uma olhada na consulta gerada pelo Hibernate e como esta mesma consulta chega ao banco de dados.

Provavelmente os parâmetros passados podem não estar coincidindo com o tipo correto das colunas envolvidas da tabela no banco e, assim, não utilizando o índice das colunas nas tabelas e gerando este tempo maior no retorno dos resultados.

No SQL Server, por exemplo, já fiz uma consulta por campo texto que esperava que o parâmetro passado chegasse como VARCHAR:

SELECT * from Pessoa WHERE nome = 'Paulo'

Mas o driver jTDS colocava um N na frente, convertendo para NVARCHAR.

SELECT * from Pessoa WHERE nome = N'Paulo'

Não utilizando o índice do banco de dados e prejudicando o desempenho da consulta.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .