HTML5 não é exatamente um recurso que você pode verificar ou não se está presente. HTML5 foi o nome dado a uma série métodos, componentes e tags adicionados a linguagem HTML que foram recebendo suporte gradativamente pelos browsers.
Algo que acho importante mencionar é que todos os principais browsers aceitam as features HTML5 e já o fazem a bastante tempo então não entendi muito bem o motivo de você querer fazer essa verificação em vez de simplesmente assumir que o browser tem a validação e pronto. Deixe os browsers antigos morrerem.
Outro tópico digno de ser mencionado é: Não se deve confiar em nenhuma validação apenas no front-end, são simples de burlar até mesmo pelos inspetores.
Com isso dito, você e sabendo que HTML5 não é algo que da pra verificar se está lá ou não, o que você pode fazer é verificar diretamente o método que precisa.
No caso da validação, você pode selecionar um formulário em sua página document.querySelector('form')
acessar o __proto__
(onde ficam todos os métodos nativos daquele elemento e verificar se o método checkValidity
(que é o nome do método que faz a validação do HTML) existe ou não.
if (typeof document.querySelector('form').__proto__.checkValidity) === 'function' {
// O formulário tem validação nativa
} else {
// O formulário não tem validação nativa
}