>Na maior parte do tempo estamos escrevendo várias linhas de código que serão convertidos em linguagem de máquina e assim dar vida ao que escrevemos

Isto acontece com algumas linguagens de programação, não com todas.

>hoje em dia não parece que a diferença entre saber em que hardware o programa estará rodando é tão relevante assim

Para programadores que vão até a página 3 da programação. É verdade que pra muitos cenários isto é verdade e não precisa saber detalhes, mas pelo menos um entendimento básico superficial e genérico é necessário para qualquer programador que use esta palavra com P maiúsculo, ou seja, não é só um criador doe de códigos ou reprodutor de receitas de bolo.

>eu estou querendo dizer que parece que o hardware não tem tanta relevância a ponto dessa questão ser discutida no início de cada projeto

Não é fácil classificar assim o que está querendo dizer, mas de fato detalhes sobre o hardware específico não são muito relevantes para decisões na maioria dos projetos. Pode afetar decisões específicas e detalhes de implementação. Em alguns casos claro que o hardware faz diferença fundamental, mesmo não falando da plataforma, mas de fato a plataforma geral faz mais diferença que o hardware específico.

>até o ponto de ser feito um outro código-fonte que se adapte para um determinado hardware

Sempre é possível fazer isso com bastante poder e flexibilidade, ainda que pode complicar todo desenvolvimento, desde que seja necessário fazer isto. Tem diversas técnicas para obter isto.

>onde se encontra o limite que isso tudo afeta a programação

Depende de cada caso, não dá para responder universalmente.

>Um código bem feito e usando as ferramentas certas trazem mais performance e qualidade do que um hardware com tecnologia de ponta?

Muito genérico responder assim, mas é muito possível um código bem feito ser milhões ou bilhões de vezes mais rápido que um mal feito, em essência nenhum hardware dá um vantagem tão grande.

>Se tivéssemos a liberdade de ditar como o hardware se comportaria, mesmo sendo mais complicado ou não, a qualidade do programa aumentaria?

Não sei o que isto quer dizer. Qualidade precisaria ser melhor definida.

>até que ponto o hardware afeta a programação?

Isto é genérico demais.

>quais as consequências de eu não me preocupar com isso?

Vou dar um exemplo: se você vai programar em algo que não tenha armazenamento de massa afeta profundamente como deve programar. Se precisa de persistência terá que usar algo auxiliar por rede. Ou abrir mão da persistência e saber disto. NVRAM pode mudar bastante a forma de persistir os dados desejados.

Outro exemplo em casos de cálculos pesados se você tem GPU pode mudar a forma que vai fazer tudo para aproveitar este recurso.

Dependendo do hardware não pode fazer alguma coisa que exija comportamento de tempo real.

Se você sabe que a aplicação só vai rodar em máquinas muito rápidas pode tomar menos cuidados com certos pontos de implementação que não podem acontecer o mesmo se sabe que vai rodar em ma´quina pior. Mas o fato de poder ser mais negligente não quer dizer que deva. Só lembrando que hoje a maioria dos programadores são negligentes com isso em quase tudo o que fazem. A maioria nem tem noção disso e usam exemplos de coisas rápidas coisas que são bem lentas, elas perderam a noção.

Nuvem entra nisso ou conta como plataforma? Faz diferença, em alguns casos de forma fundamental como o projeto deve ser feito.