HTML é uma variação do XML (na verdade isso mudou um pouco, acabou que o XHTML é que ficou assim). Como o nome dela diz (XML), é uma linguagem de marcação extensível, portanto tem uma ideia básica de como a linguagem de marcação deve ser, mas as tags específicas podem ser criadas conforme a necessidade nas suas derivadas.
Não é que XHTML seja XML, mas parte de uma base comum para sua criação. Vivem criando novas linguagens de marcação, nem todas usam essa base do XML.
Muitas pessoas consideram essa forma um pouco burocrática e verbosa de criar uma declaração. Alguns acham que não é poderosa o suficiente para identificar todas situações.
Muitas tecnologias de GUI, ORM, banco de dados, ou coisas específicas de troca de informações entre agentes usam uma variação do XML.
Não há nada que tenha exatamente a mesma função que o HTML que é a linguagem padronizada para escrever páginas web. Poderiam fazer algo bem melhor, provavelmente nem baseada em XML. Eu conheço uma pessoa que bolou algo bem mais interessante, mas a chance de ver isso implementado e adotado universalmente é zero :)
Não teria porque existir mais de uma linguagem padrão. Embora eu ache que deveria criar outra bem melhor pra substituir o HTML.
Difusão depende do ponto de vista. O fato de uma pessoa não saber não quer dizer que ela não é difundida. Mas o HTML é tão conhecido por ser algo usado em tecnologia muito difundida, ele pegou carona. E existe uma coisa de moda fazer a moda ser mais moda. Tem gente que desenvolve pra web porque sabe desenvolver pra web. Aí como muita gente faz pra web, tem gente que acha que só deve fazer pra web. E fazer pra web é usar HTML.
Curiosamente o XML surgiu depois do HTML quando perceberam que aquilo poderia ser uma generalização do HTML.
Coloquei no GitHub para referência futura.