Estou tento problemas para listagem e busca de dados em tabela com mais de 200 mil registros.
Li em pesquisas, que para o sistema de busca, o ideal seria fazer indexações do tipo "fulltext" nos campos onde será terá uma busca pelos registros.
Então fiz desse modo:
EDITADO: Alterei as tabelas criando índices conforme sugestões nos comentários.
Li também que a contagem de registros para a paginação, seria melhor usar a função:
SELECT FOUND_ROWS();
Eu ainda não fiz a parte da pesquisa, mas ja estou tendo lentidão para listar os registros de acordo com o usuário.
Tenho uma área administrativa, onde terá vários usuarios responsáveis pelo registro. Então o sistema tem que exibir na tela todos os registro que foi feito por um determinado usuário e com paginação.
Então fiz dessa forma:
public function AdmListEmpresas($link, $usercod, $pagina = 1, $ItensPorPagina = 100) {
// Definir a partir de quantos registro inicia a busca de acordo com a página atual.
$inicio = ($pagina - 1) * $ItensPorPagina;
$sql = 'SELECT SQL_NO_CACHE SQL_CALC_FOUND_ROWS
`empresas`.`nome`,
`usuarios`.`nome` AS `usuarionome`,
`equipes`.`nome` AS `equipenome`,
`setores01`.`titulo` AS `setor01titulo`,
`setores02`.`titulo` AS `setor02titulo`,
`setores03`.`titulo` AS `setor03titulo`,
`empresas`.`telprincipal`,
`empresas`.`email`,
`empresas`.`website`,
`empresas`.`plantype`,
`empresas`.`datavencimento`,
`empresas`.`datacadastro`,
`empresas`.`ativoinfo`
FROM
`' . BDtables['BD_EMPRESAS'] . '` `empresas`
LEFT JOIN `' . BDtables['BD_USERS'] . '` AS `usuarios` ON `empresas`.`useradmcod` =
`usuarios`.`cod`
LEFT JOIN `' . BDtables['BD_USERS'] . '` AS `equipes` ON `empresas`.`codequiperesp` =
`equipes`.`cod`
LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores01` ON `setores01`.`cod` =
`empresas`.`codsetor1`
LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores02` ON `setores02`.`cod` =
`empresas`.`codsetor2`
LEFT JOIN `' . BDtables['BD_SETORES'] . '` AS `setores03` ON `setores03`.`cod` =
`empresas`.`codsetor3`
WHERE
(`empresas`.`ativouser` = "1" AND
`empresas`.`ativosys` = "1" AND
`empresas`.`useradmcod` = "'.$usercod.'") OR
(`empresas`.`codequiperesp` = "'.$usercod.'") OR
(`empresas`.`usersfunccods` LIKE "%'.$usercod.'%")
ORDER BY
`empresas`.`useradmcod` LIMIT '.$inicio.', '.$ItensPorPagina.';';
$sqlcount = 'SELECT FOUND_ROWS() as "rowcount";';
$result = $this->conn->query($sql);
$numrows = $this->conn->query($sqlcount);
$numrows = $numrows->fetch_array(MYSQLI_ASSOC);
if ($result->num_rows >= 1) {
while ($row = $result->fetch_array(MYSQLI_ASSOC)) {
$listaarray[] = ['empresa' => $row['nome'],
'usuarionome' => $row['usuarionome'],
'equipenome' => $row['equipenome'],
'setor01titulo' => $row['setor01titulo'],
'setor02titulo' => $row['setor02titulo'],
'setor03titulo' => $row['setor03titulo'],
'telprincipal' => $row['telprincipal'],
'email' => $row['email'],
'website' => $row['website'],
'plantype' => $row['plantype'],
'datavencimento' => $row['datavencimento'],
'datacadastro' => $row['datacadastro'],
'ativoinfo' => $row['ativoinfo']
];
}
}
if (empty($listaarray)) { $listaarray = false; }
// Array da Paginação
$paginacaoarray = $this->Paginacao($link, $numrows['rowcount'], $pagina, $ItensPorPagina);
return array('paginacao' => $paginacaoarray,'lista' => $listaarray);
}
A tabela BD_EMPRESAS Tem o registro de todas as empresas com mais de 200 mil registros.
A tabela BD_USERS Também pode conter mais de 200 mil registros, e na listagem das empresas, pode ter q fazer uma busca entre os IDs dos usuários para buscar o nome de cada um.
A tabela BD_SETORES Terá uma tabela pequena de 300 registros, e cada empresa terá até 3 setores, onde na busca deve pegar o nome de cada setor de acordo com o ID.
Em WHERE na consulta, é pego o código do usuário logado, e busca-lo entre 3 campos da tabela onde ele pode ser o administrador, equipe do sistema, ou funcionário da empresa. Então é feito uma busca de todas empresas que aquele usuário participa, podendo retornar em média de 5 mil registros nesta lista. Onde a paginação irá exibir de 200 em 200 registros. (Não tive problemas com a paginação, apenas com o tempo de demora para retornar os registros).
Ainda em WHERE, os camposativouser
e ativosys
são apenas para buscar os registros q estão ativos, listado como um campo do tipo enum
que armazena 0 para desativados e 1 para ativado. O q retorna na lista apenas as empresas ativadas, porém um super administrador terá que listar também os registros desativados o que pode aumentar ainda mais o numero de registros exibidos.
Tudo isso é armazenado depois num Array onde é enviado para outra área do php que faz a exibição dos resultados dentro de um template compilado por um sistema do tipo smarty.
Alguém que ja trabalhou com tabelas gigantes poderia me ajudar com uma melhor solução??
EDITADO 01:
Conforme sugestão do @bfavaretto, segue abaixo o resultado do EXPLAIN
:
EDITADO 02: Fiz uns testes aqui, a consulta do jeito q esta com limit exibindo de 200 em 200 registros, demora 7 segundos para cada consulta.
Percebi que o SQL_CALC_FOUND_ROWS pesa muito na consulta, ele sozinho sem os JOINS demora até mais do que a consulta com os JOINS.
Se eu deixo os JOINS mas retiro o SQL_CALC_FOUND_ROWS, de 7 segundos abaixa pra 4 ou 5 segundos.
Se eu retiro o SQL_CALC_FOUND_ROWS e os JOINS a consulta vai pra menos de 1 segundo, o que seria perfeito.
O problema é q preciso dos JOINS para exibir os resultados nas telas. Agora preciso pensar num modo de substituir os JOINS e exibir os mesmos resultados.
EXPLAIN
, eles servem justamente para dizer qual é o gargalo e o que está problemático... Além disso se oativouser
e oativosys
,useradmcod
e ocodequiperesp
estão no WHERE, e é comparação direta, você pode criar um indexes com todos eles. Os indexes usam a memoria RAM, se não houver suficiente dará no mesmo. Pode também criar chaves entre ouseradmcod
de ambos os bancos para facilitar oJOIN
, enfim, o principa é saber o que está demorando. Ofulltext
apenas afetaMATCH AGAINST
, até onde eu saiba.usercod
imagino que seja chave primária... com operadorLIKE
? fora isso, só criar os índices para os campos que são comparados, tanto no where como no joinEXPLAIN
antes doSELECT
da sua query e edite a pergunta com o resultado. Deve ter margem para otimização nas suas tabelas.usercod
é chave primária na tabela dos usuários, mas em empresas ousersfunccods
irá amarzenar em um campo de testo o codigo de todos os usuários q são funcionarios dessa empresa, então a busca usa oLIKE
para tbm encontrar de acordo com o usuário logado se ele faz parte dos funcionários de uma certa empresa. Criei os indices para os campos que estão emJOIN
mas não mudou nada no tempo de execução. Acho q devo estar fazendo errado.