Possuo duas tabelas, a primeira é usada para agrupar os dados da segunda com algumas informações sobre o conjunto, com o objetivo de facilitar a paginação dos conteúdos.
Tabela 1:
- id INT(11) NOT NULL UNSIGNED AUTO_INCREMENT
- date DATE NOT NULL
- total_records INT(11) NOT NULL UNSIGNED
- created_date TIMESTAMP
- updated_date TIMESTAMP
- date_index INDEX date DESC
Tabela 2:
- id INT(11) NOT NULL UNSIGNED AUTO_INCREMENT
- order INT(11) NOT NULL UNSIGNED
- content LONGTEXT NOT NULL
- record_id INT(11) NOT NULL UNSIGNED
- created_date TIMESTAMP
- updated_date TIMESTAMP
- content_search FULLTEXT content
A tabela 2
se relaciona com a tabela 1
pelo campo record_id
.
As consulta que estou tentando fazer são as seguintes:
-- SQL 1
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela1` as t1
INNER JOIN `tabela2` as t2
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;
-- SQL 2
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela2` as t2
INNER JOIN `tabela1` as t1
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;
-- SQL 3
SELECT *
FROM (
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela2` as t2
INNER JOIN `tabela1` as t1
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
ORDER BY tmp.`date`
LIMIT 0, 10;
-- SQL 4
SELECT *
FROM (
SELECT t2.`id`, t2.`order`, t2.`content`, t2.`record_id`
FROM `tabela2` as t2
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
INNER JOIN `tabela1` as t1
ON tmp.`record_id` = t1.`id`
ORDER BY tmp.`date`
LIMIT 0, 10;
Usando um EXPLAIN
em cada uma é possível ver que está usando ordenação por arquivo e tabelas temporárias, isto é Using filesort
e Using temporary
.
Para palavras chaves grandes, com cinco palavras por exemplo, a consulta e a ordenação é extremamente rápida, mesmo porque voltam poucos registros. Mas se utilizo apenas uma palavra chave o que resulta em vários registros, a consulta é rápida, mas a ordenação demora tempo demais. Em qualquer situação a consulta é rápida, mas com a ordenação essas consultas levam em média 156 segundos.
Tentei alterar a tabela 2
desnormalizando e colocando uma cópia do campo date
para eliminar o INNER JOIN
. A consulta melhorou significativamente caindo para uma média de 56 segundos em consultas com uma palavra chave apenas. Mas continua com problemas na ordenação, mesmo criando um índice para a data com ordenação decrescente.
Esses problemas ocorrem no MySQL 5.6 e 5.7, pois mudei a engine de MyISAM para InnoDB. O MyISAM estava sem condição de lento e com essa mudança a buscar sem ordenação ficaram instantâneas independente da quantidade de palavras chaves. No MySQL 5.5 com em MyISAM estava muito rápido e funcionando perfeitamente em todas as situações.
Após alterar a tabela 2
e colocar o campo de data, minhas consultas ficaram da seguinte forma
-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
LIMIT 0 , 10;
-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
ORDER BY `date` DESC
LIMIT 0 , 10;
A primeira consulta retorna instantaneamente mas não está ordenado, na segunda consulta retorna com uma média de 55 segundos.
Abaixo o EXPLAINS
-- SQL 1
1 SIMPLE tabela2 fulltext search_content search_content 0 const 1 100.00 Using where
-- SQL 2
1 SIMPLE tabela2 fulltext search_content search_content 0 const 1 100.00 Using where; Using filesort
Alguém pode me ajudar a otimizar, sem usar outro tipo de banco ou mecanismo de busca como lucene?
Já tentei tirar proveito do SQL_CACHE
.
A tabela 1
possui cerca de 1000 registros e a tabela 2
certa de 160.000.