Não é simples dizer se é no hardware ou sistema operacional, porque é nos dois. Isso é definido de várias formas. Não pense que só existe em um lugar e tudo acontecerá executando aquilo naquele lugar. Então para algumas coisas o hardware tem como fazer essa "interpretação", mas o sistema operacional tem outras, e de formas diferentes.
Inclusive tem premissas erradas na pergunta, uma delas é que tudo é ASCII para lidar com letras, não é. Esse link mostra muito do que deve saber, mas o assunto é bem mais complexo que isso.
Aqui mostro um pouco mais sobre o assunto e como é equivocado a ideia que ASCII é tão especial assim.
Estritamente falando a definição do que um número binário é em ASCII existe fora do computador. Para o computador só existe o número. Ele não sabe que há letras ali.
Em algum momento esses número será mostrado como uma letra ou algo que equivale a uma letra entrará no computador. Pode ser em tela texto, tela gráfica, um som, um sistema de rede, disco, teclado, microfone, alguma lenta que capta imagem, etc.
Há algoritmos complexos para lidar com esses dados e lidar o que é uma letra para o ser humano ser o número para o computador. É a conversão do analógico-digital e vice versa. Isso pode ser processado pelo hardware e entregar pronto para o sistema operacional (puro ou por um driver) ou pode ser função do sistema operacional ou até mesmo de uma aplicação específica.
É preciso ficar claro que a letra nunca fica escrita em lugar algum do computador, ficará o número ou algum objeto que representa a letra de uma forma específica. Por exemplo pode ter um desenha formado por vários pontos gráficos que desenham a letra para mostrar para o usuário em uma tela, papel ou outro suporte visual. Esse desenha será feito unindo um número binário e uma especificação em algum lugar de como os pontos devem ser desenhados quando encontra aquele número que quer dizer uma letra em uma tabela ASCII, Unicode ou outra. Essa especificação pode ser encontrada em um arquivo que conhecemos como fonte. Então cada fonte pode desenhar a mesma letra de um jeito diferente.
O segredo aqui é o número gravado e não a letra. A tabelas ASCII ou outras que fazem o mesmo é exatamente isso, uma tabela que associa um número com algum que um humano entende como letra e em cada contexto essa letra será interpretada de um jeito, pode ser um desenho em tela, um som, ou outro meio de expressão. É só uma forma de lugar o número a algo representativo.
Efetivamente a letra não existe, só existem bytes. Mesmo quando vê uma letra é uma crença sua, você aprendeu que aquilo é uma letra então passou ser uma verdade, mas esse conceito é criado pelo ser humano, ele não existe na natureza, por isso não existe no computador. Boa parte do que lidamos na vida e colocamos no computador são tentativas de simular da melhor forma possível o que um humano inventou. Algumas coisas são simples, outras não. A forma de colocar no computador ou expor pode ser mais simples ou mais complicada. Tudo depende do contexto.
Quem sabe isso seja mais elucidativo.
Podemos dizer que a tabela foi escolhida por alguém porque achou que fazia sentido assim, assim como alguém criou o alfabeto romano (ou não) os números arábicos (ou não). Alguém colocou símbolos em certa ordem e essa ordem estabeleceu o número binário que seria cada um. Claro que teve uma lógica, mas poderia ser diferente se outra pessoa tivesse feito. Na verdade outras pessoas fizeram diferente mas esse que "pegou". Até o dia que não serviu bem mais e aí criaram outras tabelas melhores.
O assunto é complexo e podem caber perguntas mais específicas, no geral é isso.