7

Possuo duas tabelas, a primeira é usada para agrupar os dados da segunda com algumas informações sobre o conjunto, com o objetivo de facilitar a paginação dos conteúdos.

Tabela 1:

 - id              INT(11)    NOT NULL    UNSIGNED    AUTO_INCREMENT
 - date            DATE       NOT NULL
 - total_records   INT(11)    NOT NULL    UNSIGNED
 - created_date    TIMESTAMP
 - updated_date    TIMESTAMP

 - date_index      INDEX      date DESC

Tabela 2:

 - id              INT(11)    NOT NULL    UNSIGNED    AUTO_INCREMENT
 - order           INT(11)    NOT NULL    UNSIGNED
 - content         LONGTEXT   NOT NULL
 - record_id       INT(11)    NOT NULL    UNSIGNED
 - created_date    TIMESTAMP
 - updated_date    TIMESTAMP

 - content_search  FULLTEXT   content

A tabela 2 se relaciona com a tabela 1 pelo campo record_id.

As consulta que estou tentando fazer são as seguintes:

-- SQL 1
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela1` as t1
INNER JOIN `tabela2` as t2
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;

-- SQL 2
SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
FROM `tabela2` as t2
INNER JOIN `tabela1` as t1
ON t2.`record_id` = t1.`id`
WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
ORDER BY t1.`date`
LIMIT 0, 10;

-- SQL 3
SELECT *
FROM (
    SELECT t1.`date`, t2.`id`, t2.`order`, t2.`content`
    FROM `tabela2` as t2
    INNER JOIN `tabela1` as t1
    ON t2.`record_id` = t1.`id`
    WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
ORDER BY tmp.`date`
LIMIT 0, 10;

-- SQL 4
SELECT *
FROM (
    SELECT t2.`id`, t2.`order`, t2.`content`, t2.`record_id`
    FROM `tabela2` as t2
    WHERE MATCH(t1.`content`) AGAINST( '"palavras chaves" @5' IN BOOLEAN MODE)
) as tmp
INNER JOIN `tabela1` as t1
ON tmp.`record_id` = t1.`id`
ORDER BY tmp.`date`
LIMIT 0, 10;

Usando um EXPLAIN em cada uma é possível ver que está usando ordenação por arquivo e tabelas temporárias, isto é Using filesort e Using temporary.

Para palavras chaves grandes, com cinco palavras por exemplo, a consulta e a ordenação é extremamente rápida, mesmo porque voltam poucos registros. Mas se utilizo apenas uma palavra chave o que resulta em vários registros, a consulta é rápida, mas a ordenação demora tempo demais. Em qualquer situação a consulta é rápida, mas com a ordenação essas consultas levam em média 156 segundos.

Tentei alterar a tabela 2 desnormalizando e colocando uma cópia do campo date para eliminar o INNER JOIN. A consulta melhorou significativamente caindo para uma média de 56 segundos em consultas com uma palavra chave apenas. Mas continua com problemas na ordenação, mesmo criando um índice para a data com ordenação decrescente.

Esses problemas ocorrem no MySQL 5.6 e 5.7, pois mudei a engine de MyISAM para InnoDB. O MyISAM estava sem condição de lento e com essa mudança a buscar sem ordenação ficaram instantâneas independente da quantidade de palavras chaves. No MySQL 5.5 com em MyISAM estava muito rápido e funcionando perfeitamente em todas as situações.

Após alterar a tabela 2 e colocar o campo de data, minhas consultas ficaram da seguinte forma

-- SQL 1
SELECT *
FROM `tabela2` USE INDEX (`tabela_2_date_desc`)
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
LIMIT 0 , 10;

-- SQL 2
SELECT *
FROM `tabela2`
WHERE MATCH (`content`) AGAINST ('"palavra" @5' IN BOOLEAN MODE)
ORDER BY `date` DESC
LIMIT 0 , 10;

A primeira consulta retorna instantaneamente mas não está ordenado, na segunda consulta retorna com uma média de 55 segundos.

Abaixo o EXPLAINS

-- SQL 1
1   SIMPLE  tabela2     fulltext    search_content  search_content  0   const   1   100.00  Using where

-- SQL 2
1   SIMPLE  tabela2     fulltext    search_content  search_content  0   const   1   100.00  Using where; Using filesort

Alguém pode me ajudar a otimizar, sem usar outro tipo de banco ou mecanismo de busca como lucene?

Já tentei tirar proveito do SQL_CACHE.

A tabela 1 possui cerca de 1000 registros e a tabela 2 certa de 160.000.

8
  • Talvez a solução por um ajuste do uso da memoria por parte do MySql dev.mysql.com/doc/refman/5.7/en/memory-use.html
    – Motta
    30/04/2016 às 20:20
  • Ainda está com problema?
    – Euler01
    3/06/2016 às 3:02
  • Estou sim, provavelmente devo usar outro sistema de indexação
    – marcusagm
    3/06/2016 às 3:03
  • @marcusagm implemente partition table. Já tive situações parecidas com tabela com mais de 2mi de registros.
    – Mateus
    8/06/2016 às 12:39
  • 1
    Está InnoDB, como disse na pergunta, apenas por causa da versão do MySQL, pois na versão 5.7 InnoDB fica mais rápido, não entendi o porque, mas ficou. E não, a pessoa procura o que quiser em um texto, então não dá pra tratar com expressão regular. Infelizmente a solução foi usar outra ferramenta mais adequada para indexar
    – marcusagm
    16/10/2016 às 22:35

1 Resposta 1

2

Caso você insira dados nesta tabela preenchendo a coluna date com now(), experimente ordenar a tabela2 pelo id, que é sequencial e provavelmente obedecerá a sequência de data.

Caso tenha importado estas tabelas desordenadas, recomendo que crie outra tabela já ordenada pela data e posteriormente revalide suas para análise de desempenho.

8
  • Opa a ideia é boa, porém tenho que ordenar as datas em decrescente. Mesmo que o ID permita ordenar as datas de forma correta, o processo usa muitas paginas de índice, deixando muito lento. A solução mesmo é usar algo mais apropriado do que o mysql para esse tipo de consulta. Obrigado pela ideia, já havia tentando =\
    – marcusagm
    8/11/2016 às 16:53
  • O id esta como índice nas tabelas também? 8/11/2016 às 16:59
  • Sim como primary key
    – marcusagm
    8/11/2016 às 17:00
  • Sabendo de prós e contras, não é legal permitir ao usuário que faça uma pesquisa na base inteira pois já é previsto lentidão como a citada por você. O que auxiliaria sua busca seria: 8/11/2016 às 17:17
  • * <code>SELECT t1.date, t2.id, t2.order, t2.content FROM tabela2 as t2 INNER JOIN tabela1 as t1 ON t2.record_id = t1.id WHERE t1.date between 'DATA_INICIO' and 'DATA_FIM'</code> 8/11/2016 às 17:19

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .