A importância dos índices
Imagine pesquisar uma palavra em um dicionário que não está ordenado. Pior do que isso, imagine pesquisar em um dicionário onde as palavras estão organizadas de maneira aleatória.
No pior caso desse cenário, seria necessário percorrer todo dicionário para encontrar uma determinada palavra. O pior caso é aquele em que a palavra pesquisada é a última da última página do dicionário. Obviamente, nada que um algoritmo de força-bruta não resolva. Porém, imagine agora milhões/bilhões de registros em uma tabela ou arquivo. Seria algo extremamente custoso para encontrar, concorda?
O que são os índices
Índices são mecanismos que permitem que as consultas aos dados aconteçam de maneira mais rápida se comparada às mesmas consultas sem o uso de índice. Podem ser utilizados em banco de dados, arquivos isolados, memória RAM.
Isso acontece, pois o índice é armazenado em uma estrutura de dados que tem como premissa manter os campos que compõe o índice ordenados, permitindo, assim, a aplicação de algoritmos de busca construídos para operar quando os dados estão devidamente ordenados. Um exemplo desses algoritmos é a busca binária. A busca binária é um algoritmo de pesquisa que opera na memória RAM e que exige que a chave de pesquisa esteja ordenada para o seu funcionamento. É muito mais eficiente que um algoritmo de busca por força-bruta, pois reduz o espaço de busca, consequentemente, reduzindo o tempo de pesquisa. Enquanto um algoritmo de força-bruta tem complexidade O(n), o algoritmo de busca binária tem complexidade O(log(n)), o log nesse caso é na base 2.
Exemplo:
Se existem 10000 chaves para consultar, um algoritmo de força-bruta, no pior caso, faria 10000 comparações para encontrar o que deseja. Já o algoritmo de busca binária faria, no pior caso, 14 comparações (na verdade, 13.29, porém, arredondado para 14).
Veja como a busca binária é muito mais eficiente do que o algoritmo de pesquisa por força-bruta.
Note, entretanto, que isso só é possível, pois a chave de pesquisa está ordenada. Caso não estivesse, não seria possível utilizar o algoritmo de busca binária.
Quando utilizar
Indices são muito úteis e realmente consegue-se reduzir o tempo de muitas consultas utilizando essa funcionalidade presente em praticamente todas as engines de bancos de dados. Porém, não existe almoço de graça em computação e é necessário ficar atento a duas questões:
Existe um custo computacional para manter o índice ordenado. Voltando ao exemplo do dicionário, imagine que uma nova palavra é incorporada ao portugues e deve-se adicioná-la ao dicionário. Existe um custo para saber aonde inserir essa palavra e outro custo para deslocar (reorganizar) as outras palavras para a inserção da nova. Portanto, se um determinada tabela sofre muitas inserções a cada segundo, um índice poderia prejudicar ao invés de ajudar.
Como o objetivo é aumentar o desempenho, ou seja, diminuir o tempo que se gasta para consultar, logo, será necessário gastar mais espaço. Em outras palavras, no caso do banco de dados, gasta-se espaço em disco para armazenar um índice. Esse é o tradicional compromisso da computação: se desejas mais rapidez na execução de um algoritmo, deve-se pagar com memória. Se desejas usar menos memória, então deverá aceitar um algoritmo não tão eficiente.
Veja a imagem abaixo, mostrando o espaço gasto para os dados, a quantidade de linhas e o espaço gasto pelo índice (exemplo real):
No caso dos bancos de dados, os índices são criados em um ou mais campos de uma determinada tabela. Caso o índice seja composto por mais de um campo, então ele é denominado índice composto. Geralmente, você inclui índices para aqueles campos que estão sempre presentes em cláusulas where comuns do sistema ou que devem ser executadas rapidamente.
Para as chave primárias, são definidos índices automaticamente, já que elas devem sempre estar presentes em um INSERT além de estar presentes em JOINS.
A imagem acima é de uma tabela de auditoria com mais de 1 bilhão de registros. O índice é composto, utilizando dois campos do tipo varchar. Seria impraticável consultar nessa tabela caso não existisse esse índice.
Dificilmente alguém conseguirá dizer se utilizar o índice ajuda ou prejudica sem analisar detalhadamente o contexto da situação. Isso faz parte de análises mais detalhadas de tuning (otimização) de banco de dados.