Já respondi no contexto do PostgreSQL.
Já dei detalhes sobre Btree (ok, ainda preciso completar).
Já falei sobre o código de hash.
Já foi respondido sobre as tabelas hash.
A documentação mostra a diferença. Na forma escrita parece que não querem que use o hash. Só mostram desvantagens. O que é algo bem realista.
É muito raro ele ser útil, ainda mais em disco onde costuma forçar muito mais leitura. A tradução literal de hash table é tabela de espalhamento, e qualquer coisa que fique espalhada é ruim para acessar em certas mídias, ou prejudica o cache resultando mais thrashing.
A principal desvantagem é só poder comparar a igualdade, o que traz outras implicações como não poder manter a ordem, que vai trazendo uma cascata de implicações.
Mas se for na memória e só precisa testar a igualdade e o acesso a cada elemento costuma ser individual mesmo e há poucas colisões de chave, seja porque o dado original não se repete ou o resultado da função hash não repete muito, aí ele consegue ser mais rápido que qualquer árvore binária ou árvore B. Se tiver muita escrita quase certamente haverá ganhos nessa operação (não nos raros piores casos).
Uma árvore B pode ter muita manutenção interna em tabelas com muita escrita, mas a leitura é sempre muito otimizada.
O índice hash só é útil se a pessoa entende bem todas implicações e fez testes que demonstram ganho claro. Por isso fica quase escondido e limitado a certos engines do MySQL.
Existe um índice hash interno que o banco de dados usa quando ele entende que é melhor para organizar resultados de consultas, mas é um detalhe que não interessa para quem usa o MySQL.
Coloquei no GitHub para referência futura.
HASH
é a tabela de espalhamento; dado um conjunto de dados, eles geram um número X qualquer, então só consultar na tabela se existe algum elemento com esse número X.BTREE
por sua vez só se aplica a elementos passíveis de ordenação absoluta; no lugar de consultar uma tabela, se consulta uma árvore B.