Tenho uma aplicação em Rails que usa um banco de dados MySQL com uma tabela com milhões de linhas. As vezes, acontece de alguma parte da minha aplicação fazer uma query muito pesada, travando todo resto da aplicação. Como fazer para evitar que essas queries pesadonas travem meu banco de dados, ou talvez limitar para que o banco fique travado por no máximo 30 segundos, derrubando a query se ela demorar muito?
1 Resposta
Tudo isso depende muito de como está configurado o ambiente, da modelagem do banco de dados e da consulta realizada e da forma.
Ambiente
Se banco de dados e sua linguagem executam na mesma máquina podem ocorrer uma condição grave de disputa por recursos.
O MySQL precisa ler muitos dados do disco e transferir para a memória e, ao mesmo tempo, o processo Ruby comunica-se com o processo MySQL.
Tudo isso numa mesma CPU e num mesmo barramento pode causar uma grande degradação de desempenho.
Se for este o caso, tente separar servidor de banco de dados e servidor de aplicação em dois hardwares distintos conectados por uma rede de alta velocidade.
Modelagem do Banco de Dados
É difícil falar em problemas de desempenho e otimização sem falar do modelo.
Uso inadequado de tipos (usar VARCHAR
como chaves primárias ou para armazenar números e datas), falta de índices adequados, excesso de normalização (necessitando juntar muitas tabelas para recuperar informações) são fatores que contribuem para um desempenho sofrível.
Consulta (Query)
Com hardware e modelagem adequados, resta então verificar o plano de execução da consulta.
A causa mais comum de lentidão em consulta é o chamado table scan, isto é, quando uma query precisa ler todos os registros de uma tabela para retornar os resultados.
Isso ocorre sempre que se usa uma condição WHERE
que não esteja vinculada a um índice. Pode ainda ocorrer em outras situações, como em subqueries, joins ou mesmo durante a ordenação.
Usando índices
Por exemplo, se tiver uma consulta assim:
select id, nome, idade, sexo, endereco
from cliente
where idade = 30
order by nome
O ideal nesse caso seria criar dois índices: um por idade
e outro por nome
com ordenação ascendente.
Isso faria com que o MySQL não precisasse ler a tabela para filtrar os resultados. Olhando no índice por idade
ele determinaria quais registros deveria buscar na tabela de verdade e, olhando no índice por nome
, ele não precisaria fazer a comparação de todos os nomes para determinar a ordem, já que o índice é ordenado.
Veja outro exemplo:
select id, nome, idade, sexo, endereco
from cliente
where idade = 30 and sexo = 'M'
order by nome
No caso acima, o MySQL poderia fazer o filtro por idade
e depois olharia registro a registro para filtrar o sexo
. Isso é melhor que nada, mas poderia ser ainda mais eficiente com um índice incluindo idade
e sexo
.
Enfim, os índices possibilitam ao banco de dados saber de antemão quais dados exatamente deverão ser recuperados para o usuário, sem que ele precisa varrer toda a tabela carregando os valores e realizando comparações.
E algo a se atentar é que, mesmo com bons índices, usar operações de conversão de tipos ou funções de transformação nas cláusulas de comparação pode fazer com que eles não sejam usados. Aí existem inúmeras possibilidades, por isso é sempre bom testar a query com uma ferramenta que mostra o plano de execução.
E o Ruby?
Se o servidor de banco de dados está travado, então a culpa não deve ser do Ruby.
Pelo que entendi, o servidor fica indisponível, então o gargalo de processamento deve estar nele.
Se a query estivesse sendo executada rapidamente e então o Ruby fosse lendo as informações recuperadas, provavelmente o processo bloqueado seria do próprio Ruby.
Porém, há ainda algo a se considerar...
Nível de isolamento
Os bancos de dados relacionais trabalham com determinados níveis de isolamento, que controlam como diferentes sessões e transações conseguem ver os dados umas das outras.
O fato de não se conseguir ver os dados enquanto a query é executada pode ser causada por sobrecarga no sistema ou simplesmente porque o nível de isolamento bloqueia a tabela quando ela está sendo lida.
Algo que pode otimizar a leitura concorrente é permitir "leitura suja". Para fazer isso no MySQL é necessário executar o comando abaixo:
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED
Ao executar isso, você deveria ser capaz de consultar a tabela enquanto a mesma é lida ou alterada.
Para maiores detalhes sobre o comando veja a documentação.
includes
? Veja aqui e aqui.