Este assunto é muito extenso e não vou me alongar muito, menos ainda entrar em detalhes especialmente na parte física.
Existem basicamente duas formas do som ser trabalhado no computador: amplitude e frequência.
A amplitude é a mais comum (e simples), e é a que vou me focar.
Na natureza, o som nada mais é que uma onda contínua de pressões em um meio, sendo este normalmente o ar. Esta onda pode ser a composição de várias outras ondas (pense em dois barulhos acontecendo simultaneamente), e, no caso de uma música, ela é a somatória do som dos vários instrumentos.
Dispositivos eletrônicos são perfeitamente capazes de identificar estas ondas contínuas. Microfones nada mais são do que dispositivos capazes disto. Porém, o computador é péssimo ao lidar com dados contínuos. Repare por exemplo que números reais possuem problemas de representação e precisão no computador.
Assim, após o microfone converter o som para um sinal elétrico, o dispositivo de entrada do seu computador irá interpretá-lo e realizar um processo conhecido como amostragem.
A amostragem nada mais é do que colher amostras desse sinal a cada intervalo fixo de tempo. Por exemplo, no caso dos CDs de áudio, a amostragem é realizada a 44.1 KHz (44100 vezes por segundo!) - se quiser sobre o porque desta ter sido a frequência escolhida, veja Nyquist–Shannon sampling theorem.
44100 vezes por segundo, o computador colhe uma amostra desse sinal elétrico e o converte para um valor qualquer (mais sobre isso no próximo parágrafo). Essa amostra nada mais é do que a amplitude do sinal. Uma característica importante da amostragem é que ela sempre distorce o sinal, pois há perda de informação. Estas perdas podem ser minimizadas aumentando a taxa de amostragem (estúdios por exemplo costumam utilizar 192 KHz).
Os dispositivos de áudio geralmente são capazes de trabalhar com várias representações da amostragem. As mais comuns são: inteiro de 16 bits com/sem sinal; e ponto flutuante de 16 bits.
Em cada representação, alguns valores específicos possuem significados específicos, e possuem características de manipulação diferente:
Inteiro sem sinal: o valor 2^15 + 1
é o valor "mudo", sem som. Possui a vantagem de ser muito rápida a sua manipulação (depende apenas da ULA), mas o fato do mudo ser um valor "deslocado" deve ser considerado em várias manipulações, inclusive alteração de volume, normalização, equalização, etc.
Inteiro com sinal: o valor 0
é o valor "mudo". Fácil manipulação e velocidade são suas vantagens, mas ainda assim, algumas tarefas são complicadas ou exigem conversões entre tipos e casos especiais a serem tratados, tornando este tipo mais simples de ser trabalhado que o "inteiro sem sinal", mas ainda assim nem tão simples assim.
Ponto flutuante: o valor 0
é o valor "mudo". É rápido (computadores modernos não tem problemas em trabalhar com pontos flutuantes, exceto ao realizar operações de divisão) e simples de trabalhar. O valor máximo de uma amostragem neste tipo é o valor 1
, e o valor mínimo -1
.
Operações como volume, equalização e normalização, operam sobre estas amostragens.
Volume, por exemplo, pode ser pensado como um coeficiente real de 0
até 1
que multiplica o valor da amostragem, mantendo-a como está (1
), tornando-a muda (0
) ou algum valor intermediário.
Normalização e equalização são mais complexas. Existem vários métodos de normalização, que consideram deste o pico de pressão (amplitude) de uma faixa de áudio qualquer ou até a potência do sinal em uma janela deslizante. Equalização geralmente envolve uma transformada de Fourier, que decompõe uma onda em suas componentes de frequência.
Som Estéreo
Ele nada mais é que dois sons gravados, um para o canal esquerdo, outro para o direito.
Representação em Arquivo
A representação mais simples é o chamado RAW PCM, que armazena cada valor de amplitude um em sequência do outro. Assim, é necessário mais informações para reproduzir o som sem distorcê-lo: quantidade de canais (estéreo?), taxa de amostragem e formatação (inteiro com sinal? ponto flutuante?).
O formato WAVE é quase tão simples quanto o RAW PCM, exceto que ele adiciona cabeçalhos e padroniza (ao menos dentro dos produtos da Microsoft) a representação de áudios descomprimidos (até onde sei, o suporte a compressão nunca foi implementado pela Microsoft dentro deste formato). O formato WAVE é baseado no container chamado RIFF, que é extensível e suporta inclusive metadados como artista, título, etc.
Outros formatos como MP3, AAC, OGG, FLAC, etc, são muito mais complexos e cada um requer um capítulo para descrever seu funcionamento básico.
Lossless e Lossy
Mesmo com o som discretizado (amostrado), ele pode ser ainda muito grande para ser armazenado e distribuído. Repare, por exemplo, que um CD de áudio de 700MB suporta entre 70 e 80 minutos de áudio apenas. Mas você pode colocar bem mais de 5 horas em um mesmo CD desde que codificados os áudios como MP3.
As técnicas de compressão de áudio se dividem em dois grandes grupos: lossless e lossy.
Lossless vem de "sem perdas", e significa que o som descomprimido é exatamente igual ao som antes da descompressão. Esta característica é comum a formatos como o AIFF e o FLAC. Fazendo um paralelo com imagens, o PNG e o BMP são codificações lossless.
Formatos lossy geralmente possuem pequenas perdas em faixas de frequências que não são interessantes para o seu fim e levam em conta modelos psico-acústicos para enganar nossos ouvidos. Um ouvido normal é capaz de interpretar frequências de até 20 KHz. Assim frequências acima deste valor não precisam ser codificadas e podem ser descartadas sem afetar a qualidade do som. Muitos ouvidos, inclusive, sequer percebem a diferença. Ao fazer isso, o som descompactado (ou decodificado, se preferir) não é idêntico ao original, porém seu tamanho é muito menor do que o original e do que o som lossless. Formatos deste tipo são o MP3, o OGG, WMA, AAC. Eles podem ser comparados no campo das imagens com o formato JPG.
Conclusão
Mal dá para dizer que esta é uma introdução ao assunto. Mas tentei cobrir alguns conceitos de simples entendimento e que permitirão se aprofundar. Muitas técnicas utilizadas no processamento de imagens são também utilizadas no processamento de áudio, vídeo, sinais elétricos e até na propagação do calor em um meio.
Pessoalmente, sou fascinado no assunto, embora não seja nem ao longe alguém com conhecimento aprofundado. ;D
Espero ter ajudado a tirar alguns dúvidas, e construído outras também.