5

Possuo as seguintes tabelas:

Diagrama

Cada tupla da tabela PageViews (principal) contém uma visualização de página única. Se por um acaso uma mesma pessoa em uma mesma sessão (Sessions) visualiza uma mesma página (Pages), não é acrescentada uma nova tupla em PageViews. Ao invés disso é incrementado o campo PageViews.quantity.

Em um dos relatórios, preciso da quantidade de visitantes únicos (COUNT DISTINCT Visitors.id) e pageviews (SUM PageViews.quantity) em um determinado período (no dia, na semana, no mes e no ano) de uma loja específica (da qual é informada o Stores.code).

As consultas que estou fazendo no momento são:

Visitantes

SELECT DISTINCT Visitors.id
    FROM PageViews
      INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
      INNER JOIN Stores ON Stores.id = VisitorsStores.store
      INNER JOIN Sessions ON Sessions.id = VisitorsStores.session
      INNER JOIN Visitors ON Visitors.id = Sessions.visitor
    WHERE
      DATE(PageViews.createdAt) BETWEEN '2017-11-01' AND '2017-11-30' AND 
      Stores.code = 'loja1';

PageViews

SELECT SUM(quantity) AS qtde
    FROM PageViews
      INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
      INNER JOIN Stores ON Stores.id = VisitorsStores.store
    WHERE
      DATE(PageViews.createdAt) BETWEEN '2017-11-01' AND '2017-11-30' AND 
      Stores.code = 'loja1';

Ambas

SET @loja := 'loja1';
SET @inicio := '2017-11-01';
SET @fim := '2017-11-31';

SELECT
  COUNT(tVisitors.qtdVisitors) AS visitors,
  SUM(tVisitors.qtdPageViews) as pageViews
FROM (
  SELECT
    Visitors.id   AS qtdVisitors,
    SUM(quantity) AS qtdPageViews
  FROM PageViews
    INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
    INNER JOIN Stores ON Stores.id = VisitorsStores.store
    INNER JOIN Sessions ON Sessions.id = VisitorsStores.session
    INNER JOIN Visitors ON Visitors.id = Sessions.visitor
  WHERE
    DATE(PageViews.createdAt) BETWEEN @inicio AND @fim AND Stores.code = @loja
  GROUP BY qtdVisitors
) as tVisitors;

Funciona direitinho quando uma loja tem poucos acessos diários. Mas, quando uma loja possui muitos acessos (algumas em torno de 300 visitantes e 5.000 pageviews) a consulta demora muito para concluir (32s foi o maior tempo, na situação mencionada. Lojas com menos de 1.000 pageviews costumam demorar menos de 3s).

A dúvida é: De que outro jeito eu poderia fazer essa consulta de forma a ser mais rápida?


EXPLAIN da query Ambas para um único dia (05/12)

(visitor: 696 | pageViews: 5809 | tempo de execução da query: 32s)

[
    {
        "id": 1,
        "select_type": "PRIMARY",
        "table": "<derived2>",
        "type": "ALL",
        "possible_keys": null,
        "key": null,
        "key_len": null,
        "ref": null,
        "rows": 6192,
        "Extra": ""
    },
    {
        "id": 1,
        "select_type": "PRIMARY",
        "table": "<derived3>",
        "type": "ALL",
        "possible_keys": null,
        "key": null,
        "key_len": null,
        "ref": null,
        "rows": 6192,
        "Extra": ""
    },
    {
        "id": 3,
        "select_type": "DERIVED",
        "table": "Stores",
        "type": "index",
        "possible_keys": "PRIMARY",
        "key": "code",
        "key_len": "62",
        "ref": null,
        "rows": 1,
        "Extra": "Using where; Using index"
    },
    {
        "id": 3,
        "select_type": "DERIVED",
        "table": "VisitorsStores",
        "type": "ref",
        "possible_keys": "PRIMARY,FK_VisitorsStores_Stores",
        "key": "FK_VisitorsStores_Stores",
        "key_len": "5",
        "ref": "tmw_views.Stores.id",
        "rows": 6192,
        "Extra": "Using index"
    },
    {
        "id": 3,
        "select_type": "DERIVED",
        "table": "PageViews",
        "type": "ref",
        "possible_keys": "FK_PageViews_VisitorsStores",
        "key": "FK_PageViews_VisitorsStores",
        "key_len": "8",
        "ref": "tmw_views.VisitorsStores.id",
        "rows": 1,
        "Extra": "Using where"
    },
    {
        "id": 2,
        "select_type": "DERIVED",
        "table": "Stores",
        "type": "index",
        "possible_keys": "PRIMARY",
        "key": "code",
        "key_len": "62",
        "ref": null,
        "rows": 1,
        "Extra": "Using where; Using index; Using temporary"
    },
    {
        "id": 2,
        "select_type": "DERIVED",
        "table": "VisitorsStores",
        "type": "ref",
        "possible_keys": "PRIMARY,FK_VisitorsStores_Sessions,FK_VisitorsStores_Stores",
        "key": "FK_VisitorsStores_Stores",
        "key_len": "5",
        "ref": "tmw_views.Stores.id",
        "rows": 6192,
        "Extra": "Using where"
    },
    {
        "id": 2,
        "select_type": "DERIVED",
        "table": "Sessions",
        "type": "eq_ref",
        "possible_keys": "PRIMARY,FK_Sessions_Visitors",
        "key": "PRIMARY",
        "key_len": "8",
        "ref": "tmw_views.VisitorsStores.session",
        "rows": 1,
        "Extra": ""
    },
    {
        "id": 2,
        "select_type": "DERIVED",
        "table": "Visitors",
        "type": "eq_ref",
        "possible_keys": "PRIMARY",
        "key": "PRIMARY",
        "key_len": "8",
        "ref": "tmw_views.Sessions.visitor",
        "rows": 1,
        "Extra": "Using index"
    },
    {
        "id": 2,
        "select_type": "DERIVED",
        "table": "PageViews",
        "type": "ref",
        "possible_keys": "FK_PageViews_VisitorsStores",
        "key": "FK_PageViews_VisitorsStores",
        "key_len": "8",
        "ref": "tmw_views.VisitorsStores.id",
        "rows": 1,
        "Extra": "Using where; Distinct"
    }
]

SHOW TABLE STATUS FROM tmw_views;

{
    "table": "TABLES",
    "rows":
    [
        {
            "Name": "PageViews",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 1560181,
            "Avg_row_length": 84,
            "Data_length": 131694592,
            "Max_data_length": 0,
            "Index_length": 194314240,
            "Data_free": 12582912,
            "Auto_increment": null,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "PageViewsYear",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 25,
            "Avg_row_length": 655,
            "Data_length": 16384,
            "Max_data_length": 0,
            "Index_length": 32768,
            "Data_free": 0,
            "Auto_increment": 62,
            "Create_time": "2017-11-27 11:17:44",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "Pages",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 94648,
            "Avg_row_length": 116,
            "Data_length": 11026432,
            "Max_data_length": 0,
            "Index_length": 0,
            "Data_free": 4194304,
            "Auto_increment": 205925,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "Sessions",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 366180,
            "Avg_row_length": 73,
            "Data_length": 26804224,
            "Max_data_length": 0,
            "Index_length": 41058304,
            "Data_free": 3145728,
            "Auto_increment": 531262,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "Stores",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 0,
            "Avg_row_length": 0,
            "Data_length": 16384,
            "Max_data_length": 0,
            "Index_length": 16384,
            "Data_free": 0,
            "Auto_increment": 31,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "SystemLogs",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 5913,
            "Avg_row_length": 1687,
            "Data_length": 9977856,
            "Max_data_length": 0,
            "Index_length": 540672,
            "Data_free": 4194304,
            "Auto_increment": null,
            "Create_time": "2017-11-20 15:21:31",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "Visitors",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 31067,
            "Avg_row_length": 51,
            "Data_length": 1589248,
            "Max_data_length": 0,
            "Index_length": 1589248,
            "Data_free": 4194304,
            "Auto_increment": 102579,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        },
        {
            "Name": "VisitorsStores",
            "Engine": "InnoDB",
            "Version": 10,
            "Row_format": "Compact",
            "Rows": 297216,
            "Avg_row_length": 44,
            "Data_length": 13107200,
            "Max_data_length": 0,
            "Index_length": 17842176,
            "Data_free": 4194304,
            "Auto_increment": 562767,
            "Create_time": "2017-10-27 23:31:14",
            "Update_time": null,
            "Check_time": null,
            "Collation": "utf8_general_ci",
            "Checksum": null,
            "Create_options": "",
            "Comment": ""
        }
    ]
}

SHOW VARIABLES LIKE 'query_cache%';

query_cache_limit             1048576
query_cache_min_res_unit      4096
query_cache_size              33554432
query_cache_strip_comments    OFF
query_cache_type              ON
query_cache_wlock_invalidate  OFF
14
  • tem como postar o resultado do EXPLAIN statement da consulta Ambas? E se possível colocar também o SHOW TABLE STATUS FROM `<db_name>`; Assim, temos como saber quais são as Engines das tabelas. Commented 6/12/2017 às 13:09
  • 1
    Obrigado por colocar no formato JSON! Facilita muito! Commented 6/12/2017 às 13:34
  • 1
    OK, vou fritar aqui outra solução! Vou deletar os comentários acima. Commented 6/12/2017 às 18:22
  • 2
    Consegui uma solução com desempenho um pouco melhor, vou postar acima (19s no total, contra os 32s do metodo anterior).
    – Szag-Ot
    Commented 6/12/2017 às 19:08
  • 1
    Pode informa a saída: SHOW VARIABLES LIKE ‘query_cache%’;? Commented 6/12/2017 às 21:03

2 Respostas 2

5

O problema está no uso da função DATE(), posto que ele acaba atrapalhando o uso do índice.

Pense no seguinte: para cada tupla, o MySQL tem que executar a função antes de verificar se a data está dentro do limite.

Recomendo que, ao invés disso, coloque na data de inicio a hora inicial (2017-12-31 00:00:00) e na data de fim a hora final (2017-12-31 23:59:59).

Assim você não precisaria usar o DATE() e o índice aprimorará a velocidade da consulta, como deve ser.

SET @loja := 'loja1';
SET @inicio := '2017-11-01 00:00:00';
SET @fim := '2017-11-31 23:59:59';

SELECT
  COUNT(tVisitors.qtdVisitors) AS visitors,
  SUM(tVisitors.qtdPageViews) as pageViews
FROM (
  SELECT
    Visitors.id   AS qtdVisitors,
    SUM(quantity) AS qtdPageViews
  FROM PageViews
    INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
    INNER JOIN Stores ON Stores.id = VisitorsStores.store
    INNER JOIN Sessions ON Sessions.id = VisitorsStores.session
    INNER JOIN Visitors ON Visitors.id = Sessions.visitor
  WHERE
    PageViews.createdAt BETWEEN @inicio AND @fim AND Stores.code = @loja
  GROUP BY qtdVisitors
) as tVisitors;
3
  • 1
    Perfeito! Muito obrigado! Após as alterações, as consultas são executadas em no máximo 2s! Excelente!!!
    – Szag-Ot
    Commented 8/12/2017 às 11:15
  • Eu disse que o problema estava na consulta não ser capaz de utilizar os índice s:D. Só tome cuidado com colunas do tipo TIMESTAMP pois o MySQL faz cálculos utilizando o fuso horárui ao armazenar e recuperar valores (basicamente ele converte para UTC e de volta usando as configurações de Timezone do servidor ou sessão). Já vi muita gente tendo problemas com horário de verão outras e coisas do gênero. Commented 8/12/2017 às 11:31
  • Na verdade vc insistiu que o problema estava no índice, mesmo após eu informar que o índice estava correto. Diferentemente disso, a colega aqui mostrou onde realmente estava o problema, o porquê do problema e como corrigir. Mesmo assim, obrigado a vc tb, @AnthonyAccioly, por querer ajudar. Caso encerrado, vlw!
    – Szag-Ot
    Commented 8/12/2017 às 16:04
2

Sendo bem direto: no momento é feito um JOIN implícito entre tVisitor com tPageViews na consulta Ambas.

Podemos melhorar e otimizar com Semi-Join [ WHERE Stores.id IN (Subqueries)], porque a ambas usam os mesmos dados na cláusula WHERE e a Subqueries tPageViews é apenas um COUNT().

NOTA-1: consulta não testada no meu ambiente, é apenas uma abstração teórica de uma possível solução.

-- Teste de pageviews
SELECT SUM(quantity) AS qtdePageViews, COUNT(Visitors.id) AS visitor
FROM PageViews
  INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
  INNER JOIN Stores ON Stores.id = VisitorsStores.store
  INNER JOIN Sessions ON Sessions.id = VisitorsStores.session
  INNER JOIN Visitors ON Visitors.id = Sessions.visitor
WHERE Stores.id IN (
    SELECT Stores.id
    FROM PageViews
      INNER JOIN VisitorsStores ON VisitorsStores.id = PageViews.visitor
      INNER JOIN Stores ON Stores.id = VisitorsStores.store
    WHERE
      DATE(PageViews.createdAt) BETWEEN '2017-11-01' AND '2017-11-30' 
      AND Stores.code = 'loja1'
);

Apenas para contribuir e facilitar a verificação, segue as tabelas com SQL no dialeto do MySQL:

Tabela Visitors:

CREATE TABLE `Visitors` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `ip` varchar(50) NOT NULL,
  `createdAt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Tabela Stores:

CREATE TABLE `Stores` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `code` varchar(250) NOT NULL,
  `visitor` bigint(20) unsigned DEFAULT NULL,
  `createdAt` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `code_UNIQUE` (`code`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Tabela Pages:

CREATE TABLE `Pages` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `url` varchar(500) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Tabela VisitorsStores:

CREATE TABLE `VisitorsStores` (
  `id` bigint(20) unsigned NOT NULL,
  `session` bigint(20) unsigned DEFAULT NULL,
  `store` int(10) unsigned DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `session_FKIndex_idx` (`session`),
  KEY `store_FKIndex_idx` (`store`),
  CONSTRAINT `session_FKIndex` FOREIGN KEY (`session`) 
    REFERENCES `Sessions` (`id`) ON DELETE 
        NO ACTION ON UPDATE NO ACTION,
  CONSTRAINT `store_FKIndex` FOREIGN KEY (`store`) 
    REFERENCES `Stores` (`id`) 
        ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Tabela PageViews:

CREATE TABLE `PageViews` (
  `page` int(10) unsigned NOT NULL,
  `visitor` bigint(20) unsigned NOT NULL,
  `quantity` int(10) unsigned DEFAULT NULL,
  `updatedAt` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  `createdAt` datetime DEFAULT NULL,
  PRIMARY KEY (`page`,`visitor`),
  KEY `visitor_FKIndex_idx` (`visitor`),
  CONSTRAINT `page_FKIndex` FOREIGN KEY (`page`) 
    REFERENCES `Pages` (`id`) 
        ON DELETE NO ACTION ON UPDATE NO ACTION,
  CONSTRAINT `visitor_FKIndex` FOREIGN KEY (`visitor`) 
    REFERENCES `VistitorsStores` (`id`) 
        ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Tabela Sessions:

CREATE TABLE `Sessions` (
  `id` bigint(20) unsigned NOT NULL,
  `code` varchar(250) DEFAULT NULL,
  `visitor` bigint(20) unsigned DEFAULT NULL,
  `createdAt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `session_FKIndex_visitor_idx` (`visitor`),
  CONSTRAINT `session_FKIndex_visitor` FOREIGN KEY (`visitor`) 
    REFERENCES `Visitors` (`id`) 
        ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Existem várias estratégias de otimização que podemos aproveitar para fazer as consultas serem mais rápidas. E a que considero prioritária é:

As consultas funcionam de forma mais eficiente quando você escolhe um Storage Engine com propriedades que melhor atendem aos requisitos da aplicação.

Otimizando consultas InnoDB [MySQL 5.6 - 2015, 1085 p.]

  • Se você freqüentemente tem consultas recorrentes para tabelas que não são atualizadas com freqüência, habilite o cache da consulta:

    [mysqld]
    query_cache_type = 1
    query_cache_size = 10M
    
  • Não crie um índice secundário separado para cada coluna, pois cada consulta só pode usar um índice. Os índices em colunas ou colunas raramente testadas com apenas alguns valores diferentes podem não ser úteis para qualquer dúvida. Se você tiver muitas consultas para a mesma tabela, testando diferentes combinações de colunas, tente criar um pequeno número de índices concatenados em vez de um grande número de índices de uma única coluna. Se um índice contiver todas as colunas necessárias para o conjunto de resultados (conhecido como índice de cobertura), a consulta poderá evitar a leitura dos dados da tabela.

  • Se uma coluna indexada não pode conter valores NULL, declare-a como NOT NULL quando você cria a tabela. O otimizador pode determinar melhor qual índice é mais efetivo para uma consulta, quando sabe se cada coluna contém valores NULL ou não.

    NOTA-2: No contexto aqui da pergunta, seria a tupla: `Stores`.`code` (varchar(250)) que é muito grande deve ser indexado conforme abaixo, usando índice de cobertura combinando o `Stores`.`id`com o `Stores`.`code`:

    ALTER TABLE `Stores` 
    DROP INDEX `code_UNIQUE` ,
    ADD UNIQUE INDEX `code_UNIQUE` USING BTREE (`id` ASC, `code`(62) ASC);
    

Otimizando o Servidor :: Parâmetros de memória [Paul DuBois et al - 2006, 543 p.]

Interessante ter em mente que quando pensamos em performance e otimizações não podemos esquecer do servidor. Sei que pode sair do escopo da pergunta, mas seria uma respostar incompleta se não otimizarmos o servidor. No contexto aqui, vamos nos concentrar em criar um arquivo my-large.cnf na pastar /usr/share/mysql com os seguintes valores:

[mysqld]
key_buffer_size = 256M
table_cache = 256
sort_buffer_size = 1M
query_cache_type = ON
query_cache_size = 16M

Otimizando o Servidor :: Query Cache [Paul DuBois et al - 2006, 549 p.]

[mysqld]
query_cache_type = 1
query_cache_size = 10M
query_cache_limit = 2M

NOTA-3: Sempre que alterar arquivos de configuração é necessário reiniciar o servidor MySQL

Para verificar os valores Query Cache atuais do seu ambiente:

SHOW VARIABLES LIKE ‘query_cache%’;

Referência:
[MySQL 5.6 - 2015], MySQLTM, MySQL 5.6 Reference Manual: Including MySQL Cluster NDB 7.3-7.4 Reference Guide. Document generated on: 2015. May 08. (revision: 43103)
[Paul DuBois et al - 2006], Copyright © 2006 by MySQL AB, MySQL 5.0 Certification Study Guide
[Sheeri Cabral, Keith Murphy - 2009], Published by Wiley Publishing, Inc., MySQL® Administrator’s Bible

3
  • Obrigado. Mas como comentado, a query acima está errada, posto que está multiplicando os resultados a serem contados (visitors). Tb, o Stores.id não eh o problema em si, de modo que a query em IN não representa nenhuma melhoria. Porem o POST eh valido quanto as sugestões de melhoria no server. Vou analisar pra ver se todas estão sendo aplicadas. Grato!
    – Szag-Ot
    Commented 6/12/2017 às 21:25
  • Sim, eu coloquei que se trata de uma possível solução usando o semi-join do na cláusula WHERE com o operador IN(subquery). Commented 6/12/2017 às 21:34
  • Esse método não funciona por conta da sistemática das tuplas. Ele soma e conta erroneamente. Ainda assim, muito obrigado pela ajuda! Deve ter dado muito trabalho desenvolver a resposta. Vlw mesmo. Vou continuar na busca de um método melhor
    – Szag-Ot
    Commented 7/12/2017 às 10:01

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .