Porque executáveis são diferentes entre sistemas operacionais
Linux e Windows rodam em diversas arquiteturas de processadores, não só x86. Linux em uma quantidade maior. A arquitetura que mais roda hoje em dia em computadores normais é o x64, e o ARM provavelmente até mais se entrar em todos tipos de dispositivos.
Cada sistema operacional tem sua própria API e ABI, então o formato do executável, forma de se comunicar com o resto e até o que tem disponível para chamar no sistema operacional é diferente, então cada executável é construído de uma forma completamente diferente, ainda que as instruções que executam o código principal possam ser as mesmas.
Simplificadamente falando é cada SO tem sua biblioteca básica de serviços que eles prestam para as aplicações e o executável tem que lidar com a biblioteca do SO para qual ele foi criado.
Note que é possível gerar um executável em um SO mas que funcione no outro sistema. Obviamente ele não rodará onde ele foi gerado, só no SO para qual ele foi almejado.
Porque executáveis são diferentes entre arquiteturas
Também vale isso para o mesmo sistema operacional não poder rodar em arquiteturas diferentes. As instruções de processador de cada uma é diferente, então o executável tem que ter as instruções que aquele processador entende. O executável feito para um processador não roda em outro.
Existem truques que alguns executáveis fazem que conseguem compatibilizar executáveis, até certo ponto. Precisa pelo menos uma parte específica para cada arquitetura (processador) ou plataforma (sistema operacional), mas a aplicação em si pode ser genérica. Isso ocorre com aplicações que serão interpretadas de forma direta, ou que terão a execução através de uma máquina virtual com um bytecode próprio, ou ainda gerará um código nativo para aquela plataforma/arquitetura no momento da execução através de um JITter.