2

Preciso realizar uma consulta para saber um total de operadoras que possuo. Porem a tabela possui quase 18 milhões de registros, e esta demorando muito para retornar quase uns 3 minutos, e isso porque estou realizando teste direto no banco.

O problema sera maior quando esta tabela estiver completa, mais de 150 milhões, ai sim vai demorar uma eternidade, sera que tem alguma forma de realizar esta consulta de forma mais rápida?

SELECT *, COUNT(operadora) AS total_op
FROM telefones
GROUP BY operadora

Estrutura da Tabela

CREATE TABLE IF NOT EXISTS `telefones` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `numero` varchar(30) NOT NULL,
  `ddd` int(3) NOT NULL,
  `operadora` varchar(15) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=latin1 AUTO_INCREMENT=19606524 ;

--
-- Extraindo dados da tabela `telefones`
--

INSERT INTO `telefones` (`id`, `numero`, `ddd`, `operadora`) VALUES
(31, '11920160030', 11, 'OI - Celular'),
(32, '11920160031', 11, 'TIM - Celular'),
(33, '11920160032', 11, 'Claro - Celular'),
(34, '11920160033', 11, 'VIVO - Celular'),
(35, '11920160034', 11, 'Claro - Celular'),
(36, '11920160035', 11, 'Claro - Celular'),
(37, '11920160036', 11, 'Claro - Celular'),
(38, '11920160037', 11, 'Claro - Celular'),
(39, '11920160038', 11, 'Claro - Celular'),
(40, '11920160039', 11, 'Claro - Celular'),
(41, '11920160040', 11, 'Claro - Celular'),
(42, '11920160041', 11, 'Claro - Celular'),
(43, '11920160042', 11, 'Claro - Celular'),
(44, '11920160043', 11, 'Claro - Celular'),
(45, '11920160044', 11, 'Claro - Celular'),
(46, '11920160045', 11, 'Claro - Celular'),
(47, '11920160046', 11, 'Claro - Celular'),
(48, '11920160047', 11, 'Claro - Celular'),
(49, '11920160048', 11, 'Claro - Celular'),
(50, '11920160049', 11, 'Claro - Celular'),
(51, '11920160050', 11, 'Claro - Celular'),
(52, '11920160051', 11, 'Claro - Celular'),
(53, '11920160052', 11, 'Claro - Celular'),
(54, '11920160053', 11, 'Claro - Celular'),
(55, '11920160054', 11, 'Claro - Celular'),
(56, '11920160055', 11, 'Claro - Celular'),
(57, '11920160056', 11, 'Claro - Celular'),
(58, '11920160057', 11, 'Claro - Celular'),
(59, '11920160058', 11, 'Claro - Celular'),
(60, '11920160059', 11, 'Claro - Celular'),
(61, '11920160060', 11, 'Claro - Celular'),
(62, '11920160061', 11, 'Claro - Celular'),
(63, '11920160062', 11, 'Claro - Celular'),
(64, '11920160063', 11, 'Claro - Celular'),
(65, '11920160064', 11, 'Claro - Celular'),
(66, '11920160065', 11, 'Claro - Celular'),
(67, '11920160066', 11, 'Claro - Celular'),
(68, '11920160067', 11, 'Claro - Celular'),
(69, '11920160068', 11, 'Claro - Celular'),
(70, '11920160069', 11, 'Claro - Celular'),
(71, '11920160070', 11, 'Claro - Celular'),
(72, '11920160071', 11, 'Claro - Celular'),
(73, '11920160072', 11, 'Claro - Celular'),
(74, '11920160073', 11, 'Claro - Celular'),
(75, '11920160074', 11, 'Claro - Celular'),
(76, '11920160075', 11, 'Claro - Celular'),
(77, '11920160076', 11, 'Claro - Celular'),
(78, '11920160077', 11, 'Claro - Celular'),
(79, '11920160078', 11, 'Claro - Celular'),
(80, '11920160079', 11, 'Claro - Celular'),
(81, '11920160080', 11, 'Claro - Celular'),
(82, '11920160081', 11, 'Claro - Celular'),
(83, '11920160082', 11, 'Claro - Celular'),
(84, '11920160083', 11, 'Claro - Celular'),
(85, '11920160084', 11, 'Claro - Celular'),
(86, '11920160085', 11, 'Claro - Celular'),
(87, '11920160086', 11, 'Claro - Celular'),
(88, '11920160087', 11, 'Claro - Celular'),
(89, '11920160088', 11, 'Claro - Celular'),
(90, '11920160089', 11, 'Claro - Celular');
13
  • Existe algum índice pela coluna operadora? Commented 9/03/2017 às 19:07
  • @ArturTrapp Não , esta direto com o nome Commented 9/03/2017 às 19:09
  • Porque você tá agrupando pela operadora? Além do mais, experimente criar um índice se não tiver, já tive ocasiões em que consegui fazer queries que demoravam três minutos passarem a levar menos de oito segundos Commented 9/03/2017 às 19:12
  • 1
    Por que select *, count()? Não bastava só o count?
    – Jéf Bueno
    Commented 9/03/2017 às 19:13
  • @ArturTrapp - O Cliente importa tudo de um TXT, e joga no banco, e assim fica tudo agrupado! Se eu alterar para incluir Indice, acho que na importação que demora um bom tempo, vai dobrar! Commented 9/03/2017 às 19:14

1 Resposta 1

1

Não há muito o que pode fazer, mas pode tentar descobrir o motivo do problema, com o EXPLAIN.

Primeiro, o MySQL tenta sempre utiliza indexes, sua tabela não possui nenhum indexação desta coluna, porque não cria?

O MySQL tem três escolhas:

  • Utiliza o index.

  • Se não conseguir utilizar o index (não existir é um dos motivos):

    • Utilizará uma "temporary table".
    • Utilizará um "filesort".

Você pode forçar o "temporary table" usando o SELECT SQL_SMALL_RESULT ... ou forçar o "filesort" usando o SELECT SQL_BIG_RESULT ... como consta no manual do SELECT.


Você pode criar index utilizando o CREATE INDEX ..., como consta no manual ou utilizando o ALTER TABLE, exemplo:

CREATE INDEX nome_do_index on nome_da_tabela(nome_da_coluna) using HASH;

O motivo do uso do HASH ao invés do BTree é porque você não vai comparar "operadoraA > operadoraB", mas irá comparar "operadoraA != operadoraB" ou "operadoraA = operadoraA".


Uma das maneiras para contornar o problema é criar uma tabela "Contagem_Operadora" e atualiza-la frequentemente, ou seja um "CACHE". Dessa forma ao invés de sempre calcular basta fazer SELECT contagem WHERE operadora = 'oi', como já está pre-calculado o retorno será muito mais rápido.

5
  • Verdade, bem pensado, como as operadoras serão sempre as mesmas, não ira aparecer uma com tanta frequencia, posso modificar, assim creio que resolve 95% do meu problema Commented 9/03/2017 às 20:00
  • Parece que mesmo colunas indexadas (fiz um teste com 9 milhões de registros) é um pouco demorado, talvez a melhor maneira realmente seja cache.
    – Syzoth
    Commented 9/03/2017 às 20:06
  • Haveria diferença no count se no lugar de operadora varchar(15), fosse operadora int(11)? Sabe se influencia de alguma forma? Commented 9/03/2017 às 21:29
  • 1
    No count em especifico não sei, mas... Diferença haveria, o INT são sempre 4 bytes, assim como o TINYINT é 1 byte. O VARCHAR não tem tamanho fixo, porque existem caracteres que são multi-bytes, no caso do VARCHAR(15 CHAR), são 15 caracteres, considerando que no UTF-8usa de 1 até 4 bytes por letra nos temos até 60 bytes. Usando TINYINT pouparia no minimo 252 MB (18000000 * 14 / 1000000) e no máximo 1062MB (18000000 * 59 / 1000000). Obviamente isso deve acelerar, além dos indexes serem mais leves.
    – Inkeliz
    Commented 9/03/2017 às 22:05
  • Valeu pelas informações Commented 10/03/2017 às 3:49

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .