40

Como uma música é interpretada pelo computador?

Entendo que uma imagem é uma matriz de pixels, em que cada elemento é uma cor.

Quando abro uma música no R, ele a apresenta como duas sequências (left e right) de frequências, conforme a imagem.

Será que é correto afirmar que uma música é uma matriz com duas colunas e o número de linhas sendo alguma unidade de tempo?

Matriz de Pixels

5
  • 2
    Ótima pergunta! Não tenho uma resposta, mas encontrei um material (em inglês) que parece discorrer a fundo sobre o assunto, deixo como referência. A propósito, creio que em linhas gerais sua interpretação está certa, só que em vez de "frequências" acho que essa matriz contém "amplitudes".
    – mgibsonbr
    Commented 30/09/2015 às 1:02
  • 2
    Hum... eu chutaria que são os dois canais do som estéreo. Fora isso, acho que cada canal é representado por frequências (ou amplitudes) no tempo. Só não respondo porque isso é apenas o meu educated guess (eu não conheço realmente os detalhes). Commented 30/09/2015 às 2:09
  • 1
    @brasofilo eu sei a resposta, isso se chama audio fingerprint, é possível reconhecer qualquer música usando técnicas assim, vc ja deve ter usado o app shazam no seu celular, eles tem algo semelhante a ele, se você elaborar uma pergunta eu posso tentar explicar com detalhes isso...
    – ederwander
    Commented 30/09/2015 às 13:35
  • 1
    @ederwander: não sabia o nome da tecnologia, valeu! Não conhecia o app mas vi recentemente alguém usando, pensei "ó, youtube tech"
    – brasofilo
    Commented 30/09/2015 às 14:00
  • Dica: Há um curso de Processamento Digital de Sinais - Amostragem fornecido pelo Coursera e Unicamp. Commented 1/10/2015 às 20:30

3 Respostas 3

34

Este assunto é muito extenso e não vou me alongar muito, menos ainda entrar em detalhes especialmente na parte física.

Existem basicamente duas formas do som ser trabalhado no computador: amplitude e frequência.

A amplitude é a mais comum (e simples), e é a que vou me focar.

Na natureza, o som nada mais é que uma onda contínua de pressões em um meio, sendo este normalmente o ar. Esta onda pode ser a composição de várias outras ondas (pense em dois barulhos acontecendo simultaneamente), e, no caso de uma música, ela é a somatória do som dos vários instrumentos.

Dispositivos eletrônicos são perfeitamente capazes de identificar estas ondas contínuas. Microfones nada mais são do que dispositivos capazes disto. Porém, o computador é péssimo ao lidar com dados contínuos. Repare por exemplo que números reais possuem problemas de representação e precisão no computador.

Assim, após o microfone converter o som para um sinal elétrico, o dispositivo de entrada do seu computador irá interpretá-lo e realizar um processo conhecido como amostragem.

A amostragem nada mais é do que colher amostras desse sinal a cada intervalo fixo de tempo. Por exemplo, no caso dos CDs de áudio, a amostragem é realizada a 44.1 KHz (44100 vezes por segundo!) - se quiser sobre o porque desta ter sido a frequência escolhida, veja Nyquist–Shannon sampling theorem.

44100 vezes por segundo, o computador colhe uma amostra desse sinal elétrico e o converte para um valor qualquer (mais sobre isso no próximo parágrafo). Essa amostra nada mais é do que a amplitude do sinal. Uma característica importante da amostragem é que ela sempre distorce o sinal, pois há perda de informação. Estas perdas podem ser minimizadas aumentando a taxa de amostragem (estúdios por exemplo costumam utilizar 192 KHz).

Os dispositivos de áudio geralmente são capazes de trabalhar com várias representações da amostragem. As mais comuns são: inteiro de 16 bits com/sem sinal; e ponto flutuante de 16 bits.

Em cada representação, alguns valores específicos possuem significados específicos, e possuem características de manipulação diferente:

  • Inteiro sem sinal: o valor 2^15 + 1 é o valor "mudo", sem som. Possui a vantagem de ser muito rápida a sua manipulação (depende apenas da ULA), mas o fato do mudo ser um valor "deslocado" deve ser considerado em várias manipulações, inclusive alteração de volume, normalização, equalização, etc.

  • Inteiro com sinal: o valor 0 é o valor "mudo". Fácil manipulação e velocidade são suas vantagens, mas ainda assim, algumas tarefas são complicadas ou exigem conversões entre tipos e casos especiais a serem tratados, tornando este tipo mais simples de ser trabalhado que o "inteiro sem sinal", mas ainda assim nem tão simples assim.

  • Ponto flutuante: o valor 0 é o valor "mudo". É rápido (computadores modernos não tem problemas em trabalhar com pontos flutuantes, exceto ao realizar operações de divisão) e simples de trabalhar. O valor máximo de uma amostragem neste tipo é o valor 1, e o valor mínimo -1.

Operações como volume, equalização e normalização, operam sobre estas amostragens.

Volume, por exemplo, pode ser pensado como um coeficiente real de 0 até 1 que multiplica o valor da amostragem, mantendo-a como está (1), tornando-a muda (0) ou algum valor intermediário.

Normalização e equalização são mais complexas. Existem vários métodos de normalização, que consideram deste o pico de pressão (amplitude) de uma faixa de áudio qualquer ou até a potência do sinal em uma janela deslizante. Equalização geralmente envolve uma transformada de Fourier, que decompõe uma onda em suas componentes de frequência.

Som Estéreo

Ele nada mais é que dois sons gravados, um para o canal esquerdo, outro para o direito.

Representação em Arquivo

A representação mais simples é o chamado RAW PCM, que armazena cada valor de amplitude um em sequência do outro. Assim, é necessário mais informações para reproduzir o som sem distorcê-lo: quantidade de canais (estéreo?), taxa de amostragem e formatação (inteiro com sinal? ponto flutuante?).

O formato WAVE é quase tão simples quanto o RAW PCM, exceto que ele adiciona cabeçalhos e padroniza (ao menos dentro dos produtos da Microsoft) a representação de áudios descomprimidos (até onde sei, o suporte a compressão nunca foi implementado pela Microsoft dentro deste formato). O formato WAVE é baseado no container chamado RIFF, que é extensível e suporta inclusive metadados como artista, título, etc.

Outros formatos como MP3, AAC, OGG, FLAC, etc, são muito mais complexos e cada um requer um capítulo para descrever seu funcionamento básico.

Lossless e Lossy

Mesmo com o som discretizado (amostrado), ele pode ser ainda muito grande para ser armazenado e distribuído. Repare, por exemplo, que um CD de áudio de 700MB suporta entre 70 e 80 minutos de áudio apenas. Mas você pode colocar bem mais de 5 horas em um mesmo CD desde que codificados os áudios como MP3.

As técnicas de compressão de áudio se dividem em dois grandes grupos: lossless e lossy.

Lossless vem de "sem perdas", e significa que o som descomprimido é exatamente igual ao som antes da descompressão. Esta característica é comum a formatos como o AIFF e o FLAC. Fazendo um paralelo com imagens, o PNG e o BMP são codificações lossless.

Formatos lossy geralmente possuem pequenas perdas em faixas de frequências que não são interessantes para o seu fim e levam em conta modelos psico-acústicos para enganar nossos ouvidos. Um ouvido normal é capaz de interpretar frequências de até 20 KHz. Assim frequências acima deste valor não precisam ser codificadas e podem ser descartadas sem afetar a qualidade do som. Muitos ouvidos, inclusive, sequer percebem a diferença. Ao fazer isso, o som descompactado (ou decodificado, se preferir) não é idêntico ao original, porém seu tamanho é muito menor do que o original e do que o som lossless. Formatos deste tipo são o MP3, o OGG, WMA, AAC. Eles podem ser comparados no campo das imagens com o formato JPG.

Conclusão

Mal dá para dizer que esta é uma introdução ao assunto. Mas tentei cobrir alguns conceitos de simples entendimento e que permitirão se aprofundar. Muitas técnicas utilizadas no processamento de imagens são também utilizadas no processamento de áudio, vídeo, sinais elétricos e até na propagação do calor em um meio.

Pessoalmente, sou fascinado no assunto, embora não seja nem ao longe alguém com conhecimento aprofundado. ;D

Espero ter ajudado a tirar alguns dúvidas, e construído outras também.

1
24

Como uma música é interpretada pelo computador?

Da mesma maneira como um vídeo é interpretado: Pela mudança de valores ao longo do tempo.

Para entender como isso ocorre, vamos estabelecer alguns conceitos-base:

Resolução por Unidade

Uma maneira fácil de entender a resolução por unidade é analisando como uma imagem é representada.

Uma imagem que utiliza apenas um bit por pixel apresentaria apenas duas cores- preto e branco:

inserir a descrição da imagem aqui

A mesma imagem, utilizando 8 bits por cor, pode fazer uso de mais de 16 milhões de combinações:

inserir a descrição da imagem aqui

O mesmo conceito se aplica em um arquivo de áudio. Quanto mais bits você usa para expressar um sample, maior é a quantidade de amplitudes que podem ser representadas:

inserir a descrição da imagem aqui
De cima para baixo: Formas de onda original, sampling de 16 bits e sampling de 8 bits

Frequência

Porém, a resolução de bits de um sample não é tudo. A frequência com que os samples são apresentados também é importante. De novo, vamos utilizar imagens para representar este conceito:

inserir a descrição da imagem aqui
Junkie XL, Elvis Presley - A Little Less Conversation (Elvis vs JXL)

Este vídeo é uma sequência de imagens apresentadas a 5 frames por segundo. Agora o mesmo vídeo, a 25 frames por segundo:

inserir a descrição da imagem aqui

O mesmo se dá com um arquivo de áudio. Quanto maior a frequência de coleta (ou sampling rate), maior será a variação de dados durante um certo período de tempo.

inserir a descrição da imagem aqui

No exemplo acima, um sample é coletado a cada 22 microssegundos - ou seja 44.100 por segundo.

Entendo que uma imagem é uma matriz de pixels, em que cada elemento é uma cor

Exatamente. Um arquivo de áudio é, portanto, como um vídeo, onde a representação muda com o tempo. Entretando, diferente do arquivo de vídeo que possui milhares (ou, em alguns casos, milhões) de pixels a serem apresentados mudando a 30 vezes por segundo (no caso de um video a 30 FPS), o arquivo de áudio representa apenas um 'pixel' - que pode mudar milhares de vezes por segundo.

Quando abro uma música no R, ele a apresenta como duas sequências (left e right) de frequências [...]

Isso porque você abriu um arquivo estéreo, que contém os canais esquerdo e direito. O mesmo ocorre em vídeos estéreo - duas sequências são apresentadas ao mesmo tempo:

https://www.youtube.com/watch?v=gQ6vJGLfMxs

Um arquivo de áudio 7.1 conteria 8 canais.

Será que é correto afirmar que uma música é uma matriz com duas colunas e o número de linhas sendo alguma unidade de tempo?

Um arquivo de dois canais (estéreo), sim. O número de linhas seria a quantidade de samples que o arquivo possui.

Um arquivo mono conteria apenas uma sequência.

19

O @vinícius te deu uma excelente abordagem inicial sobre todo o processo de captura e conversão do áudio (+1), ainda sobre a sua pergunta:

Será que é correto afirmar que uma música é uma matriz com duas colunas e o número de linhas sendo alguma unidade de tempo?

Sim se o áudio for estéreo ele sera uma matriz de duas colunas, se for Mono ele sera um Vetor, e sim o número de linhas é literalmente o tempo do áudio, vou chegar neste ponto logo mais.

Agora que você conhece alguns processos de como o áudio é representado e como o processo de amostragem funciona, é possível associar algumas coisas com a figura apresentada por você só de olhar, aqui algumas conclusões:

  1. O áudio é Estéreo pois a figura está representando dois canais (esquerdo e direito), é literalmente uma matriz com duas colunas. Se fosse mono seria apenas um vetor de tamanho N no eixo x, onde N representa o tempo do áudio, de modo geral é mais fácil e rápido manipular vetores (áudio em mono) e por estas razões é de praxe mixar (juntar) as duas colunas da matriz quando necessário para efetuar alguma manipulação no áudio, as manipulações podem ser de qualquer tipo desde aumentar ou diminuir volume até coisas mais complexas como efetuar auto-tune no sinal, alterar velocidade, etc. Em sistemas real-time onde a velocidade é realmente importante este processo é comumente utilizado pois você não estaria submetendo o sinal duas vezes para manipulação, sim duas vezes, o canal direito e depois o canal esquerdo, o processo seria feito uma única vez após mixar os canais, portanto desempenho duas vezes mais rápido.

  2. A amplitude não está sendo representada em float Point (pontos flutuantes), ela é um short int, é o "inteiro com sinal" explicado na resposta do @vinícius, portanto os valores de amplitude para este tipo podem variar de -32768 até 32767, dá uma olhada no eixo y do plot apresentado, a amplitude passou de 20000 positivo/negativo.

  3. Tempo o eixo x, não dá pra saber com exatidão mas é claro que passou do valor 150, dá para chutar a olho que chegou a 200 ou seja 200 amostras, se você conhecer a taxa que o sinal foi amostrado (sample rate), é possível conhecer o tempo do áudio, vou chutar que a taxa de amostragem seja de 44100Hz, verifique no R vai ter essa informação lá, portanto o tempo do seu áudio seria de 200(meu palpite tamanho do eixo x)/(taxa de amostragem) isso é o mesmo que length(sinal)/taxa de amostragem, isso te dá o tempo total do seu áudio em segundos, isso está explicitamente ligado com o processo de amostragem.
2
  • 1
    Obrigado pelos esclarecimentos. Você sabe como é feita a transformação do estéreo p/ o mono? É simplesmente a média das linhas da matriz? Commented 30/09/2015 às 13:26
  • 1
    @DanielFalbel dá uma olhada nesta minha resposta aqui, ela explica como o processo de mixagem entre dois canais é feito, isso é válido para conversão mono->estéreo
    – ederwander
    Commented 30/09/2015 às 13:49

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .