As diferenças advêm da classe de que cada uma herdadescende.
Button herdadescende de TextView. Torna um TextView clicável adicionando um efeito visual ao ser clicado.
ImageButton herdadescende de ImageView. Torna uma ImageView clicável adicionando um efeito visual ao ser clicado.
Assim, o foreground de um Button, atribuido por android:text=""
, é um texto, enquanto no ImageButton, atribuido por android:src=""
é uma imagem.
Em ambos é possível alterar o background, mas o efeito visual, ao ser clicado, pode ser perdido se o drawable escolhido não tiver estados.
A escolha entre um e outro depende do foreground que pretende, texto ou imagem.