Não é simples dizer se é no hardware ou sistema operacional, porque acontece nos dois. Isso é definido de várias formas. Não pense que só existe em um lugar e tudo ser[a executando naquele lugar. Então para algumas coisas o hardware tem como fazer essa "interpretação", mas o sistema operacional tem outras, e de formas diferentes, e pode haver em outras instâncias, como aplicações específicas. Inclusive tem premissas erradas na pergunta, uma delas é que tudo é ASCII para lidar com letras, [não é][1]. Esse *link* mostra muito do que deve saber, mas o assunto é bem mais complexo que isso. [Aqui mostro um pouco mais sobre o assunto][2] e como é equivocado a ideia que ASCII é tão especial assim. Estritamente falando, a definição de que um número binário é em ASCII existe fora do computador. Para o computador só existe o número. Ele não sabe que há letras ali. Em algum momento esses números serão mostrados como uma letra ou algo que equivale a uma letra entrará no computador. Pode ser em tela texto, tela gráfica, um som, um sistema de rede, disco, teclado, microfone, alguma lente que capta imagem, etc. Há algoritmos complexos (na maioria das vezes) para lidar com esses dados e lidar o que é uma letra para o ser humano ser o número para o computador. É a conversão do analógico-digital e vice versa. Isso pode ser processado pelo hardware e entregar pronto para o sistema operacional (puro ou por um *driver*) ou pode ser função do sistema operacional ou até mesmo de uma aplicação específica. É preciso ficar claro que a letra nunca fica escrita em lugar algum do computador, ficará o número ou algum objeto que representa a letra de uma forma específica. Para citar um exemplo: pode ter um desenho formado por vários pontos gráficos que desenham a letra para mostrar para o usuário em uma tela, papel ou outro suporte visual. Esse desenho será feito unindo um número binário e uma especificação em algum lugar de como os pontos devem ser desenhados quando encontra aquele número que quer dizer uma letra em uma tabela ASCII, Unicode ou outra. Essa especificação pode ser encontrada em um arquivo que conhecemos como fonte. Então cada fonte pode desenhar a mesma letra de um jeito diferente. O segredo aqui é o número gravado e não a letra. A tabela ASCII ou outras que fazem o mesmo é exatamente isso, uma tabela que associa um número com algo que um humano entende como letra e em cada contexto essa letra será interpretada de um jeito, pode ser um desenho em tela, um som, ou outro meio de expressão. É só uma forma de ligar o número a algo representativo. Efetivamente a letra não existe, só existem bytes. Mesmo quando vê uma letra é uma crença sua, você aprendeu que aquilo é uma letra então passou ser uma verdade, mas esse conceito foi criado pelo ser humano, ele não existe na natureza, por isso não existe no computador. Boa parte do que lidamos na vida e colocamos no computador são tentativas de simular da melhor forma possível o que um humano inventou. Algumas coisas são simples, outras não. A forma de colocar no computador ou expor pode ser mais simples ou mais complicada. Tudo depende do contexto. [Quem sabe isso seja mais elucidativo][3]. Podemos dizer que a tabela foi escolhida por alguém porque achou que fazia sentido assim, assim como alguém criou o alfabeto romano (ou não) os números arábicos (ou não). Alguém colocou símbolos que ficou estabelecido como letras e números em certa ordem e essa ordem estabeleceu o número binário que seria cada um. Claro que teve uma lógica, mas poderia ser diferente se outra pessoa tivesse feito. Na verdade outras pessoas fizeram diferente mas esse que "pegou". Até o dia que não serviu bem mais e aí criaram outras tabelas melhores (todas foram baseadas em ASCII e manteve compatibilidade nessa parte). O assunto é complexo e podem caber perguntas mais específicas, no geral é isso. [1]: https://pt.stackoverflow.com/q/156951/101 [2]: https://pt.stackoverflow.com/q/101050/101 [3]: https://pt.stackoverflow.com/q/435074/101