Considerando que documentos em HTML5 são declarados no bloco logo no início com: `<!DOCTYPE html>`, além deles existem as versões antigas conforme demonstrado nesse endereço:

https://www.totalvalidator.com/support/doctypes.html

Se em regra, o documento HTML5 não recebe versionamento, significa que se ouver uma **systemId** ou uma **publicId** declarada em seu bloco e que seja diferente de: `SYSTEM "about:legacy-compat"`. E que este documento contém um tipo de doctype definido por `<!DOCTYPE html>` ou `<!doctype html>`, podemos fazer a seguinte verificação:
 
    function checkHTML5() {
        var isHtml5 = document.doctype.nodeName;
        var systemId = document.doctype.systemId;
        var publicId = document.publicId;
        var xmlSerializer = new XMLSerializer();
        var doctypeHTML   = xmlSerializer.serializeToString(document.doctype);
        var doctypeName   = doctypeHTML.toLowerCase();
                if (isHtml5 == "html" &&
                   (systemId == "" || systemId.indexOf("about:legacy-compat")!==-1) &&
                    publicId == "" && doctypeName.indexOf("!doctype") !== -1) {
                   return true;   
                }
        return false;
    }