As diferenças advêm da classe que cada uma herda.
Button herda de TextView. Torna um TextView clicável adicionando um efeito visual ao ser clicado.
ImageButton herda de ImageView. Torna uma ImageView clicável adicionando um efeito visual ao ser clicado.
Assim, o foreground de um Button, atribuido por android:text=""
, é um texto, enquanto no ImageButton, atribuido por android:src=""
é uma imagem.
Em ambos é possível alterar o background, mas o efeito visual, ao ser clicado, pode ser perdido se o drawable escolhido não tiver estados.
A escolha entre um e outro depende do foreground que pretende, texto ou imagem.