6

Tenho uma tabela do Maxmind, com mais de 3 milhões de cidades. Criei os índices para um select simples e está com desempenho satisfatório.

O problema é que estou usando um autocomplete e para isso meu select usa like, mas sempre retorna timeout (Maximum execution time of 30 seconds exceeded).

Optei por usar MyISAM por ser uma tabela com baixa ou nenhuma alteração.

Pelo que andei lendo, 3 milhões não é uma quantidade excessiva, mas não sei como devo proceder para otimizar essa busca.


CREATE TABLE `cidades` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `pais` char(50) DEFAULT NULL,
  `regiao` char(100) DEFAULT NULL,
  `cidade` char(100) DEFAULT NULL,
  `titulo` char(100) DEFAULT NULL,
  `lat` char(50) DEFAULT NULL,
  `lon` char(50) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `ID` (`id`),
  KEY `CITY` (`cidade`),
  KEY `ID_2` (`id`,`cidade`,`titulo`)
) ENGINE=MyISAM AUTO_INCREMENT=3166036 DEFAULT CHARSET=utf8;

select cidade.titulo
from city
where cidade.titulo like '%Rio de Janeiro%'
1
  • De fato, havia testado com like 'Rio de Janeiro%' e o tempo de resposta foi praticamente idêntico ao select. Então o problema seria o % no inicio? Dessa forma ele faz uso dos índices? Commented 20/04/2015 às 18:44

1 Resposta 1

5

Causa do desempenho ruim

Usar % no início do parâmetro do like causa um full table scan. Ele impede que o SGBDR utilize o índice da tabela, necessitando ler o campo por completo sempre. Esta então se torna efetivamente uma operação excessiva para 3 milhões de linha.

Solução limitada

Removendo o % do início, o SGBDR será então capaz de pegar os primeiros caracteres antes do % é analisar diretamente o índice para fazer um filtro inicial dos resultados. Só então ele vai testar o like contra o valor completo das poucas linhas selecionadas.

O MySQL tem inclusive uma opção para definir quantos caracteres devem ser incluídos no índice de campos de texto.

Retirar o % do início resolve o problema de desempenho, só que pode não atender o requisito se o auto-completar for do tipo que busca parcialmente em todo o texto. Nesse caso seria melhor mudar a abordagem, isto é, não usar like.

Solução completa

Uma alternativa seria Full-Text Search provida pelo MySQL. Não tenho dados sobre o desempenho, pois não usei esta funcionalidade no MySQL ainda.

Outra alternativa mais avançado seria usar uma ferramenta como o Apache Lucene, um motor de busca desenvolvido em Java usado por muitos sites e projetos e que pode ser integrado no seu back end com PHP.

2
  • 1
    São 2 opções que não conhecia. Vou dar uma lida agora. TKS. Commented 20/04/2015 às 20:49
  • 1
    Vale citar engines próprias de indexação mais populares como o ElasticSearch. Commented 23/04/2015 às 4:30

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .