Tentando responder superficialmente, esse é um arquivo em determinado formato, assim como existem formatos de banco de dados, textos, planilhas, imagens, etc. Esse é um formato que o sistema operacional reconhece e sabe o que fazer com o conteúdo dentro. Ali contém instruções de como colocar o conteúdo relevante na memória. Também tem as instruções e os dados estáticos da aplicação. Pode-se entender isto como um "textão" que algum componente saberá como lidar. Não é um texto puro porque permite caracteres extras que não estão presentes em textos, por isso é chamado de binário.
O sistema operacional dirá ao processador que deve executar as instruções contidas ali (dentro do seu sistema interno de agendamento) e este passará "interpretar" aqueles caracteres para decidir o que fazer dentro dele.
Algumas arquiteturas possuem instruções de tamanho fixo e outras de tamanho variável. Cada caractere ou conjunto de caracteres indicam qual instrução deve ser executada e que "operandos" serão usados nesta operação. O processador processará os bits desses operandos (se tiver algum) ou de algum registrador ou outra coisa previamente definido pela instrução. Depois ela vai para a próxima instrução - eventualmente uma instrução pode alterar qual é a próxima (desvio). Na maioria dos sistemas operacionais isto ocorre até que uma sinalização definida previamente devolva o controle para o sistema operacional.
Isso pode ser melhor visto em Como um computador entende o código binário?.
É bem mais complexo que isso, mas já estou me alongando. O importante é que cada caractere desses indica algo que o processador sabe o que fazer. No fundo os caracteres são números conforme a tabela ASCII estendida - é mostrado assim porque pode facilitar a leitura em algo que está sendo interpretado como um texto comum (afinal foi usado um editor de texto), é possível ver de outras formas, dá até para ver os bits deles, cada um escolhe como quer visualizar.
Um código escrito em linguagem de alto nível pode ser compilado para gerar isso, ou um código em Assembly pode ser montado. Há uma relação direta 1:1 entre as instruções Assembly e esses caracteres (em conjunto). Portanto o código de máquina pode ser facilmente convertido para o Assembly bruto aproximado que o gerou (longe de ser legível) por um desmontador. O Assembly é um código "mais fácil" de um humano ler - inclusive porque possui comentários, o código de máquina é mais fácil para o computador.
Um utilitário adequado para ver código binário é o objdump
ou dumpbin
.
Os links nos comentários ajudam dar uma ideia melhor do assunto.
Coloquei no GitHub para referência futura.