É essencialmente quase isso mesmo se você quer excluir o commit atual. Provavelmente o que deseja é voltar para o commit anterior, então precisa pegar o atual - 1:
git reset --hard HEAD~1
Se quer voltar para algum outro commit específico deve usar o hash dele. Ou em alguns casos pode fazer
git reset --hard HEAD^
Tente com --soft
antes e veja se resolve o que precisa. Ele é menos radical e mais seguro.
Se o commit já tinha sido enviado terá que forçar no remoto:
git push origin HEAD --force
Isto fará perder todas as alterações locais. Então se não pode perdê-las, sugiro fazer um stash com todas elas antes.
Se der errado pode reverter assim:
git reset HEAD@{1}
Se está com medo de fazer algo errado, faça um backup antes e pode voltar ao original se não sair como esperava (em geral isso não deveria ser necessário porque o objetivo dessa ferramenta é justamente este, mas sabemos como é...).
Se quiser fazer no remoto:
git push origin +HEAD^:master #ou outro nome aqui
Se o medo se estende ao servidor remoto, faça o mesmo com ele. Se envolver o servidor remoto, vários cuidados precisam ser tomados, o principal é que seu branch atual deve ser o mais novo do remoto. Se isto não for garantido, estará criando uma realidade alternativa para os demais usuários.
Leitura recomendável.
Coloquei no GitHub para referência futura.