2

Estou iniciando na área de banco de dados e percebo uma grande lentidão em alguns bancos que utilizo em servidores virtuais.

No meu caso eu acesso um windows que possui um postgres e com uma frequencia média meus scripts estão demorando muito para rodar...

Otimizei-os para que haja menos queries de alta consultas, verifico os discos rigidos, ram, internet e estão sempre ok.

Gostaria de uma recomendação para normalizar esta situação.

3
  • O que é uma query de alta consulta? Commented 3/04/2018 às 15:14
  • Penso que se refira a uma query que retorne uma grande quantidade de dados
    – IdkWhy
    Commented 3/04/2018 às 15:20
  • Uma query que monta um arquivo .txt, que realiza update e insert em mais de 5.000 linhas Commented 3/04/2018 às 15:30

2 Respostas 2

0

É uma pergunta bastante genérica. Ideal é que você monitore constantemente estatísticas de desempenho de seus bancos de dados e da infraestrutura que os suporta, assim pode medir o impacto das quedas de desempenho e correlacionar eventos que as possam ter causado, assim você ataca a origem do problema.

O que o Genivan disse na outra resposta é fato, você precisa manter seus VACUUMs e ANALYZEs rodando periodicamente, mas isso já é feito automaticamente pelo PostgreSQL e na maioria dos casos as configurações padrão são suficientes. Uma alteração nesses parâmetros deve ser feita com motivos, e para isso é necessário estudo do caso específico.

Algumas sugestões para você identificar melhor o que acontece com o seu banco:

  1. Não sei qual versão do Postgres você está usando, mas não custa dizer: considere uma atualização de versão.
  2. Aprenda a utilizar as views de estatísticas do PostgreSQL: pg_stat_activity para ver as queries que estão sendo executadas no momento presente; pg_stat_bgwriter para ver como está o uso do buffer de memória do Postgres; pg_stat_all_tables (e ..._indexes) para ver contagem de operações, últimas manutenções e outras estatísticas de suas tabelas e índices; pg_statio_all_tables (e ..._indexes) para ver estatísticas de uso de disco de suas tabelas e índices, entre outras.
  3. Aprenda a usar ferramentas de análise de log como o pgBadger e configure o parâmetro log_line_prefix do Postgres para gerar metadados úteis para análise. Você pode utilizar o parâmetro log_min_duration_statement para definir um tempo de query que considere aceitável, assim as execuções mais lentas são automaticamente registradas no log.
  4. Ative outros parâmetros de log que possam te dar uma luz. Alguns exemplos: log_checkpoints te ajuda identificar a saúde do seu buffer, log_lock_waits te diz se suas queries estão concorrendo entre si, log_temp_files te informa se muitos arquivos temporários estão sendo gerados pelas queries, o que indicaria memória insuficiente ou mal configurada.
  5. Colete constantemente o uso de recursos de seu servidor: CPU, memória, I/O, volume de trocas de contexto, volume de memória alocada em cache de filesystem... Diversas ferramentas podem fazer isso, minha favorita é o bom e velho sysstat, com execuções periódicas do coletor sar agendadas na crontab. Não sei se há equivalente para Windows.
  6. Considere utilizar o módulo contrib pg_stat_statements, para coletar estatísticas de execução de suas queries em tempo real.

De posse dessas informações, há várias coisas que talvez você acabe descobrindo sobre seu uso do PostgreSQL, como por exemplo:

  • A lentidão começa a acontecer após a execução de uma query específica que retorne muitos registros, concomitante a um aumento no volume de I/O, e melhora com o passar do tempo: pode significar que a query ofensora tome todo o shared_buffers para ela e assim todas as outras precisem usar o disco de forma mais intensiva para realizar seu trabalho. Pode ser necessário aumentar o parâmetro, ou reescrever a query, particionar tabelas, etc. de forma a utilizar menos memória.
  • A contenção ocorre sempre nos mesmos horários: pode haver alguma tarefa agendada que tome todos os recursos do banco para ela, ou gere locks em objetos fazendo com que suas outras queries esperem sua liberação.
  • O tempo de espera por I/O aumenta significativamente sem que haja necessariamente um grande volume de trabalho para executar, e sua solução de armazenamento é compartilhada com outros servidores: outra de suas VMs está usando esse recurso físico, sem deixar nada para o seu PostgreSQL.
  • O volume de arquivos temporários gerado por suas queries lentas é muito grande durante a lentidão, que por sua vez ocorre "no final do expediente", antes de eventuais rotinas de expurgo: o parâmetro work_mem pode estar subdimensionado, sendo necessário uso de disco para manipular grandes volumes de dados quando as tabelas estão mais "cheias".
  • Queries corretas em tabelas bem indexadas estão preferindo sequential scans em vez de index scans: pode ser que o planejador do banco esteja com estatísticas de cardinalidade muito antigas, indício de que não estão sendo feitos muitos ANALYZEs nessa tabela.

São infinitas as possíveis causas quando se fala em lentidão de bancos de dados, pois são muitos os fatores envolvidos. A minha intenção com esta resposta foi, sobretudo, deixar claro a importância de coletar estatísticas de desempenho e de conhecer o ambiente com que se está trabalhando.

2
  • Cara, muito obrigado pelas respostas e pelos toques. Eu descobri que tinha uma aplicação que utilizava uma querie que sobrecarregava o banco, porém, não sei como não "estourava" memória da maquina... Enfim, foi reformulada e melhorou cerca de 35% do desempenho do bd. Obrigado mais uma vez. Commented 5/04/2018 às 15:18
  • Sozinho dificilmente o PostgreSQL vai estourar a memória do servidor por causa de uma query, a não ser que esteja mal configurado, porque o que passar do work_mem vira arquivo temporário em disco. O desempenho cai, mas a execução continua. Que bom que encontrou o motivo do problema aí =)
    – nunks
    Commented 24/04/2018 às 15:58
0

No Postgres, pode ser necessário rodar periodicamente os comandos Vacuum e Analyze para melhorar a performance do banco. Veja essa documentação:

https://www.postgresql.org/docs/9.5/static/sql-vacuum.html

Outra coisa que pode ser verificada, neste caso vale para qualquer BD, é a necessidade de criação de índices, geralmente em tabelas com milhares ou milhões de registros, mas como isso depende de uma análise, sugiro que você também procure artigos sobre esse assunto e faça uso deste recurso com parcimônia pois ao mesmo tempo que os Selects podem ficar mais rápidos, os inserts e updates podem ficar mais lentos.

1
  • Cara, obrigado pelos toques! Conforme disse para o nunks.lol descobri uma query em uma aplicação que utilizava muito do banco, e, porfim otimizamos e isso afetou em cerca de 35% de melhora de desenpenho do bd. Abs! Commented 5/04/2018 às 15:20

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .