Considerando que documentos em HTML5 são declarados no bloco logo no início com: `<!DOCTYPE html>`, além deles existem as versões antigas conforme demonstrado nesse endereço:

https://www.totalvalidator.com/support/doctypes.html

Se em regra, o documento HTML5 não recebe versionamento, significa que se ouver uma **systemId** ou uma **publicId** declarada em seu bloco e que seja diferente de: `SYSTEM "about:legacy-compat"`. E que este documento contém um tipo de doctype definido por `<!DOCTYPE html>` ou `<!doctype html>`, podemos fazer a seguinte verificação:
 
     function checkHTML5() {
        var isHtml5 = document.doctype.nodeName;
        var systemId = document.doctype.systemId;
        var publicId = document.publicId;
        var xmlSerializer = new XMLSerializer();
        var doctypeHTML   = xmlSerializer.serializeToString(document.doctype);
        var doctypeName   = doctypeHTML.toLowerCase();
                if (isHtml5 == "html"                            &&
                   (systemId == undefined                        ||
                    systemId.indexOf("about:legacy-compat")!==-1 ||
                    systemId == '')                              && 
                    publicId == undefined                        ||
                    publicId == ''                               &&
                    doctypeName.indexOf("!doctype") !== -1) {
                   return true;   
                }
        console.log(publicId);
        return false;
    }
    checkHTML5();