Skip to main content
adicionou 32 caracteres ao conteúdo
Fonte Link
marcusagm
  • 4,9mil
  • 2
  • 23
  • 46
-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
LIMIT 0 , 10;

-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
ORDER BY `date` DESC
LIMIT 0 , 10;
-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5')
LIMIT 0 , 10;

-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5')
ORDER BY `date` DESC
LIMIT 0 , 10;
-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
LIMIT 0 , 10;

-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
ORDER BY `date` DESC
LIMIT 0 , 10;
adicionou 79 caracteres ao conteúdo
Fonte Link
marcusagm
  • 4,9mil
  • 2
  • 23
  • 46

OBS.: Já tentei tirar proveito do SQL_CACHE.

A tabela 1 possui cerca de 1000 registros e a tabela 2 certa de 160.000.

OBS.: Já tentei tirar proveito do SQL_CACHE.

Já tentei tirar proveito do SQL_CACHE.

A tabela 1 possui cerca de 1000 registros e a tabela 2 certa de 160.000.

Fonte Link
marcusagm
  • 4,9mil
  • 2
  • 23
  • 46

MySQL ordenação muito lenta para resultados com muitos registros

Possuo duas tabelas, a primeira é usada para agrupar os dados da segunda com algumas informações sobre o conjunto, com o objetivo de facilitar a paginação dos conteúdos.

Tabela 1:

 - id              INT(11)    NOT NULL    UNSIGNED    AUTO_INCREMENT
 - date            DATE       NOT NULL
 - total_records   INT(11)    NOT NULL    UNSIGNED
 - created_date    TIMESTAMP
 - updated_date    TIMESTAMP

 - date_index      INDEX      date DESC

Tabela 2:

 - id              INT(11)    NOT NULL    UNSIGNED    AUTO_INCREMENT
 - order           INT(11)    NOT NULL    UNSIGNED
 - content         LONGTEXT   NOT NULL
 - record_id       INT(11)    NOT NULL    UNSIGNED
 - created_date    TIMESTAMP
 - updated_date    TIMESTAMP

 - content_search  FULLTEXT   content

A tabela 2 se relaciona com a tabela 1 pelo campo record_id.

As consulta que estou tentando fazer são as seguintes:

-- SQL 1
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela1` as t1
INNER JOIN `tabela2` as t2
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;

-- SQL 2
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela2` as t2
INNER JOIN `tabela1` as t1
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;

-- SQL 3
SELECT *
FROM (
    SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
    FROM `tabela2` as t2
    INNER JOIN `tabela1` as t1
    ON t2.`record_id` = t1.`id`
    WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
ORDER BY tmp.`date`
LIMIT 0, 10;

-- SQL 4
SELECT *
FROM (
    SELECT t2.`id`, t2.`order`, t2.`content`, t2.`record_id`
    FROM `tabela2` as t2
    WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
INNER JOIN `tabela1` as t1
ON tmp.`record_id` = t1.`id`
ORDER BY tmp.`date`
LIMIT 0, 10;

Usando um EXPLAIN em cada uma é possível ver que está usando ordenação por arquivo e tabelas temporárias, isto é Using filesort e Using temporary.

Para palavras chaves grandes, com cinco palavras por exemplo, a consulta e a ordenação é extremamente rápida, mesmo porque voltam poucos registros. Mas se utilizo apenas uma palavra chave o que resulta em vários registros, a consulta é rápida, mas a ordenação demora tempo demais. Em qualquer situação a consulta é rápida, mas com a ordenação essas consultas levam em média 156 segundos.

Tentei alterar a tabela 2 desnormalizando e colocando uma cópia do campo date para eliminar o INNER JOIN. A consulta melhorou significativamente caindo para uma média de 56 segundos em consultas com uma palavra chave apenas. Mas continua com problemas na ordenação, mesmo criando um índice para a data com ordenação decrescente.

Esses problemas ocorrem no MySQL 5.6 e 5.7, pois mudei a engine de MyISAM para InnoDB. O MyISAM estava sem condição de lento e com essa mudança a buscar sem ordenação ficaram instantâneas independente da quantidade de palavras chaves. No MySQL 5.5 com em MyISAM estava muito rápido e funcionando perfeitamente em todas as situações.

Após alterar a tabela 2 e colocar o campo de data, minhas consultas ficaram da seguinte forma

-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5')
LIMIT 0 , 10;

-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5')
ORDER BY `date` DESC
LIMIT 0 , 10;

A primeira consulta retorna instantaneamente mas não está ordenado, na segunda consulta retorna com uma média de 55 segundos.

Abaixo o EXPLAINS

-- SQL 1
1   SIMPLE  tabela2     fulltext    search_content  search_content  0   const   1   100.00  Using where

-- SQL 2
1   SIMPLE  tabela2     fulltext    search_content  search_content  0   const   1   100.00  Using where; Using filesort

Alguém pode me ajudar a otimizar, sem usar outro tipo de banco ou mecanismo de busca como lucene?

OBS.: Já tentei tirar proveito do SQL_CACHE.