25

Tenho um banco de dados com mais de 250 tabelas, existem tabelas com mais de milhões de registros e quando preciso procurar ou alterar algum desses registros, leva bastante tempo, o que acaba deixando a experiência bem ruim para o usuário.

A tabela Clientes tem mais de 50 milhões de registros. Essa tabela fica em produção 24 horas por dia, numa média de 200 queries/min em certas horas do dia. Sempre que preciso procurar um cliente, existe uma forma mais rápida, que é procurando pela chave primária da tabela, mas nem sempre tenho a possibilidade de saber o ID de um cliente de cor. Nesses casos, utilizo uma busca parcial pelo nome (usando o operador LIKE), ou seja, procurando por Dar%, ele me retorna:

Darth Vader
Darcisio Araujo
Darlene Silva
[...]

Claro, além de só o nome existem mais filtros que podem ser aplicados na mesma query. Das duas formas apresentadas, procurar pelo Nome acaba demorando bastante em certos casos.

  • O que fazer para otimizar a velocidade das consultas?
  • O que costuma deixar as consultas lentas? (além de ter milhões de registros na tabela, acredito que existam más práticas e problemas de implementação que deixam-as ainda menos performáticas)

Uma observação: em minhas queries, costumo filtrar colunas do tipo varchar(n) e bit. Faço também intervalos entre datas com colunas do tipo date usando operador BETWEEN.

7
  • 1
    Uma coisa muito importante não informada, qual o SGBD e a versão usada , alguns SGBD tem soluções para o tipo que busca que vocêprecisa fazer. Além disto as soluções de otimização (tuning) mudam de BD para BD. Todavia em geral passam por : uso de índices , estatísticas coletadas , analise do plano de execução das queries.
    – Motta
    Commented 26/12/2016 às 12:17
  • qual o banco de dados que você usa, Vinicius? Commented 26/12/2016 às 21:53
  • SQL Server @MarllonNasser
    – vinicius
    Commented 26/12/2016 às 22:06
  • Você usa qual versão do SQL Server? (além do ano, informe se é standard, enterprise, datacenter, etc....)
    – Intruso
    Commented 28/12/2016 às 13:35
  • Buscar registros utilizando 'Like' nem chega a utilzar o índice no campo (se possuir). Para utilizar devidamente o índice de campos de texto, troque por 'starting with' ou relevante para o seu SGBD. Mas neste caso, só irá retornar registros que contém palavras iniciadas com o texto que você especificar. Commented 30/12/2016 às 18:59

6 Respostas 6

22
+50

O que fazer para otimizar a velocidade das consultas?

Bom, a criação de indexes é fundamental em tabelas de grande e pequeno tamanho.

Entretanto existem casos que o index pode ser prejudicial. Mais detalhes aqui

No seu caso em específico, como você não especificou as colunas quer quer filtrar vou assumir que seu problema seja com as colunas que são do tipo NVarChar.

Para essas colunas em específico, aconselho a criação do Full-Text index, que nada mais é que uma solução "pronta" para alguns bancos, além de ser bem mais eficaz e rápido que o tradicional LIKE. Além de restringir especificamente para as colunas que você quer filtrar, o que na minha opinião, deixa sua query muito mais "limpa" visualmente.

No seu caso em específico ficaria algo como:

ALTER TABLE clientes ADD FULLTEXT(nome, sobrenome, email, ....);

Dessa forma você garante que as colunas "mapeadas" como FULLTEXT tenham uma indexação melhor para textos em comparação com o "tradicional" index quando utilizado com operador LIKE.

E sua query ficaria algo como:

SELECT * FROM clientes WHERE MATCH (nome, sobrenome, email, ....) AGAINST ('dar');

Outros exemplos do Full-Text

E para as outras colunas, aconselho a criação de index para as colunas que você faz join com outras tabelas ou que você faz filtro.

O que costuma deixar as consultas lentas? (além de ter milhões de registros na tabela, acredito que existam más práticas que deixam-as ainda menos performáticas)

Existem várias razões para isso:

  • Mapeamento das tabelas que pode ser melhorado.
  • Falta de indexes em colunas onde se faz cruzamentos (join) com outras tabelas.
  • Joins mal feitos, geralmente o join por string pode ser um problema (dependendo do banco).
  • Falta de uma análise periódica das tabelas cruciais do sistema.
  • Dependendo da sua estrutura de tabelas, de repente um particionamento de tabelas pode ajudar e MUITO em questões performáticas.
1
  • 1
    pronto, adicionei um trecho aconselhando você a criar index nessas colunas.. :) Commented 26/12/2016 às 22:27
12

Como é um BD muito grande, o ideal é que você use conhecimento mais aprofundado para fazer uma análise mais precisa. As soluções apresentadas aqui podem ajudar, mas será um tiro no escuro sem uma otimização das queries. Como você disse que seu banco pode ter milhões de registros na mesma tabela, você inevitavelmente precisa de um tuning em suas queries e até fazer um particionamento do banco. Para isso, recomendo que busque conhecimento técnico especializado na área ou você pode provocar uma lentidão ainda pior no seu sistema. Existem técnicas como otimização com base heurística e com base em custos, mas isso é trabalho para um DBA. O próprio SQLServer tem um otimizador interno, porém não chega a ser tão eficiente quanto um trabalho feito à mão.

9

criar um índice para esta coluna parece ser a melhor solução. Dependendo do banco de dados isso pode não ser possível para colunas do tipo texto.

Também é possível otimizar a consulta passando o carácter coringa apenas do lado direito. No seu exemplo ficaria:

(...) where nome like "dar%"

Uma outra forma seria usar algum mecanismo de busca em texto para esse tipo de consulta, como o Solr.

1
  • Não conhecia o Solr, muito obrigado!
    – vinicius
    Commented 26/12/2016 às 21:38
9

Vou colocar uma resposta para complementar,

Utilizar SSD É interessante verificar o plano de cache das consultas, saber se essa consulta está em cache ou não. Caso contrário também recomendo SSD, faz um diferença absurda em leitura da base de dados quando tem que ser feito a leitura do arquivo físico. Pelo visto deve ser uma base de dados grande que as vezes impossibilita o cache dela na memória RAM.

-- Visualizar ADHocs (consultas pré armazenadas, quando não são stored procedure)

use master
go
SELECT  cast(text as varchar(8000)) as Query,(cp.size_in_bytes/1024) as KB
    FROM sys.dm_exec_cached_plans AS cp 
    CROSS APPLY sys.dm_exec_sql_text(plan_handle) 
WHERE cp.cacheobjtype = 'Compiled Plan' AND cp.objtype = 'Adhoc' AND cp.usecounts = 1 
order by KB desc

Verifique o consumo de IO

WITH Agg_IO_Stats
AS
(
  SELECT
    DB_NAME(database_id) AS database_name,
    CAST(SUM(num_of_bytes_read + num_of_bytes_written) / 1048576.
         AS DECIMAL(12, 2)) AS io_in_mb
  FROM sys.dm_io_virtual_file_stats(NULL, NULL) AS DM_IO_Stats
  GROUP BY database_id
)
SELECT
  ROW_NUMBER() OVER(ORDER BY io_in_mb DESC) AS row_num,
  database_name,
  io_in_mb,
  CAST(io_in_mb / SUM(io_in_mb) OVER() * 100
       AS DECIMAL(5, 2)) AS Porcento
FROM Agg_IO_Stats
ORDER BY row_num;

Plano de execução

verifique também o plano de execução do SQL E procure por índices com gargalos. inserir a descrição da imagem aqui

No caso existe um índice que é responsável por 100% do tempo da consulta. Mas no caso abaixo não existiria muita solução visto que "Clustered Index Seek" é o mais rápido tipo de consulta de índice.

Criar novos índices

CUIDADO, criar novos índices, em campos varchar podem causar um aumento exponencial no tamanho do database, principalmente em databases com centenas de milhares de registro, só para dar um exemplo um índice meu em um campo Varchar(100) ocupa 5GB Outro detalhe a considerar é se a tabela sofre muito insert, pois todo índice causa uma certa lentidão em insert e updates. Desfragmentar índices

Verifique se caso exista os índices se os mesmos não estão fragmentados, costumo utilizar um script que desfragmenta todos os índices acima de 20% de fragmentação. Saiba mais: https://msdn.microsoft.com/pt-br/library/ms189858.aspx?f=255&MSPPError=-2147217396 Saiba mais: http://www.fabriciolima.net/blog/2011/02/16/monitorando-a-fragmentacao-dos-indices/ Código que utilizo http://pastebin.com/iaFbCik8

Mova essa consulta para uma StoredProcedure

Esse ganho de perfomance não é absurdo, mas a stored procedure é compilada e isso traz diversos beneficios como plano de cache interno do sql.

Códigos que podem ser interessante para você

--qtd. de vezes que foi executada uma query

SELECT  text,plan_handle, cp.size_in_bytes,usecounts--,*            
FROM sys.dm_Exec_cached_plans AS cp         
      CROSS APPLY sys.dm_exec_sql_text(plan_handle)             
WHERE text not like '%dm_exec_sql_text%' --para não aparecer essa propria query         
    and text not like '%dm_Exec_cached_plans%' --para não aparecer essa propria query       
    and text like '%select%' -- aqui coloca o começo da sua consulta
ORDER BY usecounts DESC 

--Verificar indices faltando #### USAR COM EXTREMO CUIDADO!!!!!!

SELECT 
dm_mid.database_id AS DatabaseID,
dm_migs.avg_user_impact*(dm_migs.user_seeks+dm_migs.user_scans) Avg_Estimated_Impact,
dm_migs.last_user_seek AS Last_User_Seek,
OBJECT_NAME(dm_mid.OBJECT_ID,dm_mid.database_id) AS [TableName],
'CREATE NONCLUSTERED INDEX [SK01_'
 + OBJECT_NAME(dm_mid.OBJECT_ID,dm_mid.database_id) +']'+ 
 ' ON ' + dm_mid.statement+ ' (' + ISNULL (dm_mid.equality_columns,'')
+ CASE WHEN dm_mid.equality_columns IS NOT NULL AND dm_mid.inequality_columns IS NOT NULL THEN ',' ELSE
'' END+ ISNULL (dm_mid.inequality_columns, '')
+ ')'+ ISNULL (' INCLUDE (' + dm_mid.included_columns + ')', '') AS Create_Statement,dm_migs.user_seeks,dm_migs.user_scans
FROM sys.dm_db_missing_index_groups dm_mig
INNER JOIN sys.dm_db_missing_index_group_stats dm_migs
ON dm_migs.group_handle = dm_mig.index_group_handle
INNER JOIN sys.dm_db_missing_index_details dm_mid
ON dm_mig.index_handle = dm_mid.index_handle
WHERE dm_mid.database_ID = DB_ID()
ORDER BY Avg_Estimated_Impact DESC
2
  • Qual é o perigo da última?
    – vinicius
    Commented 22/03/2017 às 20:26
  • sair criando índice conforme eu falei, pode criar gargalos, toda vez que faça um insert, delete ou update o índice precisa ser atualizado, o problema do script acima é que ele poderá fazer sugestões de indíces com dezenas de campos e um índice desse pode trazer mais malefícios que benefícios.
    – Dorath
    Commented 23/03/2017 às 13:14
4

Atualizando as estatísticas de seu banco de dados, você pode conseguir uma melhora de desempenho também. A primeira execução pode demorar um pouco, mas vale muito a pena.

Basta executar o comando abaixo numa query SQL:

use NomeDoSeuDatabase

EXEC sp_updatestats
1
  • Cuidado ao executar determinados comandos, o ideal é que tenha uma janela de manutenção para que possa executar com segurança. Commented 17/01/2017 às 18:19
2

Eu conheço pouca coisa sobre banco de dados, mas eu aprendi boas práticas de desenvolvimento na faculdade, e claro, o pessoal aqui já deve conhecer então não é nada de muito especial.

No processo de modelagem do banco: montagem de diagramas relacionais, regras de negócio é muito importante fazer a normalização das tabelas. Existem até a 5 ª forma normais se eu não me engano. Geralmente, até a 3 ª forma normal já é o suficiente, mas se você quer um desempenho ainda melhor, normalize até a 5 ª. Porém, essa prática só pode ser aplicada no momento da construção do banco, então se seu banco já está implementado e já possui registros, já não é mais possível. Outro detalhe é que o número de tabelas costuma aumentar consideravelmente depois da normalização. Como seu banco possui 250 tabelas, o que é bastante, acredito eu que a normalização foi utilização, certo?

Para mais detalhes sobre normalização: https://www.dcc.fc.up.pt/~ricroc/aulas/0506/bd/apontamentos/parteVIII.pdf

Outro conceito importante para o bom desempenho no sistema de banco de dados está relacionado a forma como a aplicação se comunica com o banco e como as transações são tratadas.

Um erro que já vi em muitos exemplos que encontrei na net de aplicações para banco de dados com arquitetura MVC é o seguinte: Alguns programadores tem o mal hábito de não fechar a conexão com o banco depois que executam a consulta em métodos das classes DAOs.

Isso é um erro grave, pois pode comprometer a segurança do banco e também seu desempenho por incrível que pareça. Quando você não fecha a conexão com o banco depois que executa uma consulta pela aplicação, o SGBD acaba tendo que fazer isso sozinho para evitar conflitos de transações aplicadas em um mesmo registro e assim manter a integridade dos dados. Porém, o SGBD só fecha essa conexão se houver duas transações tentando acessar um mesmo registro ao mesmo tempo. Enquanto isso não acontece, a conexão fica aberta, e claro, "consome" desempenho do banco. Se for um registro, dois ou três até que não influência muito, mas e se for uma banco com milhões de registros, onde o fluxo de transações costuma ser maior? Muitos bancos ficam lentos com o tempo por conta disso. Hackers também podem ter maior facilidade em acessar informações do banco se houver conexões abertas por muito tempo, pois ele pode usar algum meio de capturar a tupla recuperada pela consulta na conexão aberta.

No geral, isso é tudo o que eu tinha pra dizer sobre o assunto. Espero ter ajudado. Se eu errei em alguma coisa na minha resposta, por favor, não deixem de me dar um feedback.

3
  • 3
    As faculdades agora estão ensinando boas práticas? Bons tempos quando elas ensinavam conceitos, fundamentos... ;) Não entendo que problema de segurança pode haver se não fechar o banco de dados, ainda que concorde que isso costuma ser uma boa ideia. Mas como algumas pessoas seguem regras e não entendem o funcionamento do mecanismo, eu vejo também as pessoas abrindo e fechando conexões sem parar, quando não tem necessidade.Me parece que integridade de dados são garantidas independente do fechamento da conexão,afinal estamos falando em garantias e por isso não pode ser condicional ao uso correto
    – Maniero
    Commented 30/12/2016 às 12:52
  • 3
    Nem vai caber tudo aqui, mas parece ter bastante suposições na resposta (em geral indevidas), inclusive nada nela fará o desempenho melhorar, que é o que foi perguntado.
    – Maniero
    Commented 30/12/2016 às 12:53
  • 5
    @Cristiano eu acho legal a intenção de você compartilhar essas idéias, mas é muito importante nas próximas respostas tentar dar solução que vá direto ao ponto. Pode até enriquecer e ilustrar pontos com informações acessórias, mas é indispensável manter o "eixo" da resposta no que foi perguntado.
    – Largato
    Commented 30/12/2016 às 12:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .