É uma assinatura de executável. É uma forma simples e ingênua de verificar se o executável está em determinado formato. Se tudo estiver certo funciona, mas pode ser algo forjado ou coincidente, é improvável, mas pode acontecer, e claro que tem outras validações, mas esta é a primeira que é feita, se não encontrar isso já sabe que esse formato não é.
Segundo a Wikipedia é abreviação do Mark Zbikowski, o cara que criou participou da criação.
Os bytes que veem a seguir são mais significativos e começam informar a composição deste executável específico. Neste tipo de formato há um tratamento bem complexo para inicializar e preparar a memória, apenas um formato bem antigo que consegue ir direto para a memória sem tratamento específico.
O caso de ser um MZ, ou seja, um executável DOS das antigas tem pouca informação específica seguinte, outros formatos (PE) são bem mais ricos.
Os executáveis mais novos ainda contém o "MZ" por questões de compatibilidade então não dá um erro qualquer se chamar um executável moderno em um sistema antigo, dará um erro mais específico que o próprio executável fornece. Isto é interessante porque sistemas mais antigos não entendem formatos novos e dariam um erro genérico.
- Uma listagem de como ele pode ser composto.
- O OSDev tem uma forma bem simplificada.
- E tem um Wikibook com um resumo um pouco maior de como é o formato do PE moderno que acho mais interessante.
- Documentação da Microsoft.
- E um código se quiser escrever um executável na mão.
De qualquer forma parece bastante amplo tentar descrever tudo aqui.
Veja o diagrama da Wikipedia:
Coloquei no GitHub para referência futura.