4

Estou tento problemas para listagem e busca de dados em tabela com mais de 200 mil registros.

Li em pesquisas, que para o sistema de busca, o ideal seria fazer indexações do tipo "fulltext" nos campos onde será terá uma busca pelos registros.

Então fiz desse modo:

EDITADO: Alterei as tabelas criando índices conforme sugestões nos comentários. Indexação de campos - Alterado

Li também que a contagem de registros para a paginação, seria melhor usar a função:

SELECT FOUND_ROWS();

Eu ainda não fiz a parte da pesquisa, mas ja estou tendo lentidão para listar os registros de acordo com o usuário.

Tenho uma área administrativa, onde terá vários usuarios responsáveis pelo registro. Então o sistema tem que exibir na tela todos os registro que foi feito por um determinado usuário e com paginação.

Então fiz dessa forma:

    public function AdmListEmpresas($link, $usercod, $pagina = 1, $ItensPorPagina = 100) {

    // Definir a partir de quantos registro inicia a busca de acordo com a página atual.
    $inicio = ($pagina - 1) * $ItensPorPagina;

    $sql = 'SELECT SQL_NO_CACHE SQL_CALC_FOUND_ROWS
            `empresas`.`nome`,
            `usuarios`.`nome` AS `usuarionome`,
            `equipes`.`nome` AS `equipenome`,
            `setores01`.`titulo` AS `setor01titulo`,
            `setores02`.`titulo` AS `setor02titulo`,
            `setores03`.`titulo` AS `setor03titulo`,
            `empresas`.`telprincipal`,
            `empresas`.`email`,
            `empresas`.`website`,
            `empresas`.`plantype`,
            `empresas`.`datavencimento`,
            `empresas`.`datacadastro`,
            `empresas`.`ativoinfo`
          FROM
            `' . BDtables['BD_EMPRESAS'] . '` `empresas`
            LEFT JOIN `' . BDtables['BD_USERS'] . '` AS `usuarios` ON `empresas`.`useradmcod` =
          `usuarios`.`cod`
            LEFT JOIN `' . BDtables['BD_USERS'] . '` AS `equipes` ON `empresas`.`codequiperesp` =
          `equipes`.`cod`
            LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores01` ON `setores01`.`cod` =
          `empresas`.`codsetor1`
            LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores02` ON `setores02`.`cod` =
          `empresas`.`codsetor2`
            LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores03` ON `setores03`.`cod` =
          `empresas`.`codsetor3`
          WHERE
            (`empresas`.`ativouser` = "1" AND
            `empresas`.`ativosys` = "1" AND
            `empresas`.`useradmcod` = "'.$usercod.'") OR
            (`empresas`.`codequiperesp` = "'.$usercod.'") OR
            (`empresas`.`usersfunccods` LIKE "%'.$usercod.'%")
           ORDER BY
            `empresas`.`useradmcod` LIMIT '.$inicio.', '.$ItensPorPagina.';';

    $sqlcount = 'SELECT FOUND_ROWS() as "rowcount";';

    $result = $this->conn->query($sql);
    $numrows = $this->conn->query($sqlcount);
    $numrows = $numrows->fetch_array(MYSQLI_ASSOC);

    if ($result->num_rows >= 1) {
        while ($row = $result->fetch_array(MYSQLI_ASSOC)) {
            $listaarray[] = ['empresa' => $row['nome'],
                'usuarionome' => $row['usuarionome'],
                'equipenome' => $row['equipenome'],
                'setor01titulo' => $row['setor01titulo'],
                'setor02titulo' => $row['setor02titulo'],
                'setor03titulo' => $row['setor03titulo'],
                'telprincipal' => $row['telprincipal'],
                'email' => $row['email'],
                'website' => $row['website'],
                'plantype' => $row['plantype'],
                'datavencimento' => $row['datavencimento'],
                'datacadastro' => $row['datacadastro'],
                'ativoinfo' => $row['ativoinfo']
            ];
        }
    }

    if (empty($listaarray)) { $listaarray = false; }

    // Array da Paginação
    $paginacaoarray = $this->Paginacao($link, $numrows['rowcount'], $pagina, $ItensPorPagina);

    return array('paginacao' => $paginacaoarray,'lista' => $listaarray);
}

A tabela BD_EMPRESAS Tem o registro de todas as empresas com mais de 200 mil registros.

A tabela BD_USERS Também pode conter mais de 200 mil registros, e na listagem das empresas, pode ter q fazer uma busca entre os IDs dos usuários para buscar o nome de cada um.

A tabela BD_SETORES Terá uma tabela pequena de 300 registros, e cada empresa terá até 3 setores, onde na busca deve pegar o nome de cada setor de acordo com o ID.

Em WHERE na consulta, é pego o código do usuário logado, e busca-lo entre 3 campos da tabela onde ele pode ser o administrador, equipe do sistema, ou funcionário da empresa. Então é feito uma busca de todas empresas que aquele usuário participa, podendo retornar em média de 5 mil registros nesta lista. Onde a paginação irá exibir de 200 em 200 registros. (Não tive problemas com a paginação, apenas com o tempo de demora para retornar os registros).

Ainda em WHERE, os camposativouser e ativosys são apenas para buscar os registros q estão ativos, listado como um campo do tipo enum que armazena 0 para desativados e 1 para ativado. O q retorna na lista apenas as empresas ativadas, porém um super administrador terá que listar também os registros desativados o que pode aumentar ainda mais o numero de registros exibidos.

Tudo isso é armazenado depois num Array onde é enviado para outra área do php que faz a exibição dos resultados dentro de um template compilado por um sistema do tipo smarty.

Alguém que ja trabalhou com tabelas gigantes poderia me ajudar com uma melhor solução??

EDITADO 01: Conforme sugestão do @bfavaretto, segue abaixo o resultado do EXPLAIN:

EXPLAIN

EDITADO 02: Fiz uns testes aqui, a consulta do jeito q esta com limit exibindo de 200 em 200 registros, demora 7 segundos para cada consulta.

Percebi que o SQL_CALC_FOUND_ROWS pesa muito na consulta, ele sozinho sem os JOINS demora até mais do que a consulta com os JOINS.

Se eu deixo os JOINS mas retiro o SQL_CALC_FOUND_ROWS, de 7 segundos abaixa pra 4 ou 5 segundos.

Se eu retiro o SQL_CALC_FOUND_ROWS e os JOINS a consulta vai pra menos de 1 segundo, o que seria perfeito.

O problema é q preciso dos JOINS para exibir os resultados nas telas. Agora preciso pensar num modo de substituir os JOINS e exibir os mesmos resultados.

8
  • 1
    Ter 200 mil registros é longe de ser gingante. Mas, o MySQL tem o Profiler e o EXPLAIN, eles servem justamente para dizer qual é o gargalo e o que está problemático... Além disso se o ativouser e o ativosys, useradmcod e o codequiperesp estão no WHERE, e é comparação direta, você pode criar um indexes com todos eles. Os indexes usam a memoria RAM, se não houver suficiente dará no mesmo. Pode também criar chaves entre o useradmcod de ambos os bancos para facilitar o JOIN, enfim, o principa é saber o que está demorando. O fulltext apenas afeta MATCH AGAINST, até onde eu saiba.
    – Inkeliz
    Commented 31/08/2017 às 9:08
  • usercod imagino que seja chave primária... com operador LIKE ? fora isso, só criar os índices para os campos que são comparados, tanto no where como no join Commented 31/08/2017 às 11:28
  • 2
    Coloque um EXPLAIN antes do SELECT da sua query e edite a pergunta com o resultado. Deve ter margem para otimização nas suas tabelas.
    – bfavaretto
    Commented 31/08/2017 às 20:49
  • 1
    @Inkeliz Então eu achava que 200 mil registros seria pesado, já q a demora está sendo grande, sendo q seriam mais de 200 mil empresas, e mais de 200 mil usuarios, onde o select da empresa está dando join pro usuário, creio q isso pode deixar lento tbm. Usei o EXPLAIN e não entendi nada sobre o resultado que retornou, o Profiler tbm não encontrei na net como utilizar. Criei o indice para os campos q vc sugeriu mas não mudou nada. Entou estudando alguma forma de evitar usar o join pra ver se fica mais rapido. Commented 31/08/2017 às 22:18
  • 1
    @RovannLinhalis, então o usercod é chave primária na tabela dos usuários, mas em empresas o usersfunccods irá amarzenar em um campo de testo o codigo de todos os usuários q são funcionarios dessa empresa, então a busca usa o LIKE para tbm encontrar de acordo com o usuário logado se ele faz parte dos funcionários de uma certa empresa. Criei os indices para os campos que estão em JOIN mas não mudou nada no tempo de execução. Acho q devo estar fazendo errado. Commented 31/08/2017 às 22:23

5 Respostas 5

6

Então, o resultado do EXPLAIN mostra que a consulta retorna 60k+ linhas da tabela de empresas. Com aqueles JOINs todos, cada uma dessas linhas será combinada com cada linha obtida das outras tabelas. Parece que está aí o seu gargalo de performance.

O que eu tentaria, olhando esse resultado, é criar alguns índices. Repare que nenhum foi usado na tabela de empresas (coluna key veio NULL no EXPLAIN). O primeiro candidato seria um índice na coluna useradmcod, que é usada tanto no WHERE quanto no ORDER BY. O using filesort que veio no explain costuma ser uma causa de lentidão, e tem relação com ordenação sobre colunas sem índice. Se isso não for suficiente, coloque também um índice na coluna que você compara com LIKE, pois esse tipo de comparação é uma das mais lentas.

Tenha cuidado ao criar índices nas suas tabelas. Não ter nenhum índice além das PKs costuma ser um problema, mas ter muitos índices também, pois eles precisam ser reconstruídos ou ajustados em operações de INSERT, UPDATE e DELETE.

3
  • 1
    Então eu não entendo, pq a tabela empresas é a tabela principal onde está sendo feita a busca, e todos os índices que criei que está na imagem da pergunta foram criados nessa tabela empresas, não sei mais qual índices poderia ser criados aqui. Eu alterei a imagem da pergunta com alguns novos índices que criei, e mesmo assim não mudou nada na velocidade da consulta. Estou pensando num modo de reduzir o numero de JOINS e obter o mesmo resultado. A coluna que utilizo o LIKE eu criei em modo fulltext. Sobre criar muitos indices, se juntar varios campos num unico indice pode ajudar?? Commented 1/09/2017 às 0:09
  • 2
    Não adianta criar índices a esmo. Os índices sobre mais de uma coluna ao mesmo tempo só serão usados se a consulta tiver condições e/ou joins em cima de todas as colunas do índice. A minha sugestão era criar um índice só na coluna useradmcod e ver como isso afeta a performance e o resultado do explain. Como eu mencionei, não é fácil achar o equilíbrio ao criar índices, cada query query pode precisar de índices diferentes e cada índice tem um impacto no banco como um todo. Vai fazendo devagar e vendo o efeito de cada tentativa, não crie vários novos índices de uma vez.
    – bfavaretto
    Commented 1/09/2017 às 15:05
  • 1
    Ahh ok vou tentar fazer novos testes então. Eu tava pesquisando sobre indices e vi que pode ser feito um ´ignore´ em alguns indices na query, vou testar dessa forma, assim se der certo posso manter os indices nos campos que vou ter que fazer busca, e testar cada indice conforme vc me sugeriu.. Vou tentar e depois posto aqui se deu algum resultado melhor. Commented 2/09/2017 às 1:10
3

Depois de muitas horas de testes, e sem mais tempo para continuar no mesmo problema, eu resolvi a situação modificando a tabela, a consulta e o que será retornado na tela pelo PHP.

Antes em WHERE eu tinha os campos ativouser e ativosys que eram campos que determinava quando a empresa era ativada ou desativada pelo dono da empresa ou pelo administrador do sistema. Então eu mesclei os dois mantendo apenas o ativosys na tabela.

Eu mudei também o campo usersfunccods para funcsenha, que em vez de eu buscar o usuário logado dentro desse campo, eu crio uma senha especial para funcionários.

Deletei duas INDEX do tipo FULLTEXT que resolvi não colocá-los mais na busca.

Na tela de listagem não vou exibir mais os setores então eliminei todos os JOIN que buscava os nomes dos setores pelos códigos.

E também não irei mais exibir o nome do responsável pela equipe, exibindo apenas o nome do dono da empresa. Assim eliminei mais um JOIN e deixei apenas o mais importante.

Então a tabela modificada ficou assim: Tabela alterada

Algumas INDICES serão usadas em outras consultas, então para esta eu estou usando a função: USE INDEX (codusers,ativadostatus) que deste modo utilizo apenas as INDICES mais importantes para esta consulta.

Então minha nova consulta ficou assim:

        $sql = 'SELECT SQL_CALC_FOUND_ROWS
            `empresas`.`nome`,
            `usuarios`.`nome` AS `usuarionome`,
            `empresas`.`plantype`,
            `empresas`.`datavencimento`,
            `empresas`.`datacadastro`,
            `empresas`.`ativoinfo`
          FROM
            `' . BDtables['BD_EMPRESAS'] . '` `empresas`
          USE INDEX (codusers,ativadostatus) 
            LEFT JOIN `' . BDtables['BD_USERS'] . '` AS `usuarios` ON `empresas`.`useradmcod` = `usuarios`.`cod`
          WHERE
            `empresas`.`ativosys` = "1" AND
            (`empresas`.`useradmcod` = "'.$usercod.'" OR `empresas`.`codequiperesp` = "'.$usercod.'")
           ORDER BY
            `empresas`.`useradmcod` LIMIT '.$inicio.', '.$ItensPorPagina.';';

Então o tempo de consulta que antes estava em quase 7 segundos diminuiu para menos de 1 segundo. E se eu tirar o ORDER BY ele fica ainda mais rápido diminuindo para menos de meio segundo.

Não é a solução que eu queria, mas vai resolver por um bom tempo.

Obrigado pela paciência de todos, mesmo que tenha feito essas alterações todas, eu aprendi muitas coisas com vocês que eu não conhecia. Valeu mesmo. Abraços.

2

200.000 não são muitos registros, mas você pode tentar quebrar o resultado por página limitando pelo id lógico das linhas. Ou seja, retornar de 1 a 10, 11 a 20, 21 a 30....

Para fazer isso tem o rownumber no SQL Server, limit/offset no MySQl.

9
  • No select que coloquei na pergunta ja existe o limit para paginação. Só que eu retorno de 100 em 100, ou de 200 em 200 registros, pq a tabela está dando paginação com mais de 4 mil paginas. Commented 31/08/2017 às 22:33
  • Se não me engano, o LIMIT só é executado no fim. Então o efeito disso na performance seria só em cima da quantidade de dados que precisaria ser transferida entre o servidor mysql e a aplicação, não afetaria a performance da consulta em si.
    – bfavaretto
    Commented 1/09/2017 às 15:07
  • Mas se a quantidade de dados é reduzida, são menos coisas para estar na memória. Commented 1/09/2017 às 16:22
  • @FernandoVR , você pode tentar pegar sua consulta e rodar no SGBD direto e verificar se a performance lá foi melhor. Se a consulta tiver uma melhor performance lá, você pode uma função para te retornar o resultado e a aplicação chamar a mesma. Commented 1/09/2017 às 16:25
  • Verdade @bfavaretto eu fiz testes com ´LIMIT´ menores, e só ajudou na velocidade da exibição na tela com o PHP, mas no tempo de consulta realmente não mudou nada. E Melanie, fiz testes pelo php e demorou quase 10 segundos para retornar o resultado, pelo MySQL front e pelo MySQL Workbench demorou 7 segundos. Apenas pelo terminal do MySQL que teve uma melhor performance demorando um pouco menos de 2 segundos. Vc diz fazer uma função dentro do MySQL?? teria alguma sugestão pra me passar?? Commented 2/09/2017 às 1:23
1

Além das sugestões dos colegas, existe um software que pode auxiliar na análise. O NeorProfile é gratuito e me ajuda a ver todas as queries que passam para o banco de dados (como um tunneling). Ele diz o tempo estimado de execução, o tamanho do retorno, e permite fazer um EXPLAIN dos comandos. Pode ser uma boa forma de ver o desempenho da consulta e testar alterações.

1
  • 2
    Obrigado pela sugestão, eu vou instalar esse programa e verificar as analises dele. Espero que ajude. Se der algum resultado eu posto aqui depois. Commented 2/09/2017 às 1:25
-1

Velho analisando certinho ai, tem muito join, uma coisa que é simples e já dá uma ajudada, pesquisa sobre HASH e MERGE JOIN, talvez já dá uma melhorada na performance.

2
  • 1
    Esta resposta não traz uma solução para o problema. Exemplifique os trechos com problema e proponha uma alteração. Commented 31/08/2017 às 23:40
  • 1
    Vou pesquisar sim, obrigado pela dica. Commented 1/09/2017 às 0:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .