Algo é ortogonal em relação à alguma outra coisa se mudar algo nele não afetará nada nas outras coisas. Não existe uma relação de dependência.
É muito importante buscar a ortogonalidade sempre que possível. Imagine se um carro mudasse de direção quando você acelera. Ruim, né? No carro acelerador e volante são ortogonais. Já num helicóptero não conseguiram fazer isto e para aumentar a velocidade tem que compensar outros controles para manter o helicóptero estável.
Também podemos falar em efeito colateral. Se o seu código faz algo estanque, só relacionado a ele mesmo, ele é ortogonal, não possui efeitos colaterais. Se você tem que se preocupar com o que vai acontecer em outros lugares quando muda algo nele então ele não é ortogonal.
O que não é DRY não é ortogonal. Se não aplicou este princípio, quando muda em um lugar tem que mudar nas suas repetições.
Ortogonalidade está relacionada não exclusivamente com o princípio do SRP.
Uma linguagem de programação é uma das coisas mais complicadas de se fazer porque muita coisa não é ortogonal. Cada feature funciona bem sozinha, mas junto com todas as outras tem um monte de complicação quando há intersecção. Quando as features podem ser usadas em conjunto sem restrições e complicações ela é ortogonal.
É importante para gerenciar a complexidade, facilitar a manutenção e diminuir a necessidade de testes.