0

Considere que eu tenha o seguinte corpo HTML e script JS:

<!DOCTYPE html>
<html>
<head><title>Mudar tom do áudio</title></head>
<body>
    <p>Mudar tom do áudio</p>
    <input type=button value="Tocar áudio">
    <p>Tom: <input type=range min=-5 max=5></p>
    <p id=tom></p>
</body>
<script>
     let audio;
     let range = document.querySelector("input[type=range]");
    /*A função abaixo é ativada quando o botão for clicado, e ela teoricamente deve dar 'play' no áudio com o tom alterado!*/
    range.addEventListener("click", function() {
        audio = new Audio();
        audio.src = /*Endereço do áudio*/
        /*O que fazer aqui para mudar o tom do áudio?*/
    } /*A função abaixo é ativada quando o valor do 'range' for alterado, mudando o valor do parágrafo de id 'tom'*/
    document.querySelector("input[type=range").addEventListener("input", function() {
        let txtParag;
        let valor = range.value;
        if(valor == 0) {
            txtParag = "Áudio em seu tom original"
        } else {
            let add = "ns";
            if(Math.abs(valor) == 1) {
                add = "m";
            } txtParag = Math.abs(valor) + " to" + add + " ";
            if(valor < 0) {
                txtParag += "acima";
            } else {
                txtParag += "abaixo";
            }
        } document.getElementById("tom").textContent = txtParag;
    });
</script>
<html>

O que eu quero saber é o comando necessário (ou os comandos) para que, quando der o 'play' no áudio, o tom dele for alterado: será necessário usar a API de áudio do JS? Agradeço a quem puder me ajudar!

4
  • Já tentou usar a API de áudio ou a lib tone.js? Commented 13/06/2020 às 12:40
  • Não tentei usar. Commented 14/06/2020 às 0:10
  • Acho esta pergunta bem interessante e vou segui-la. Se ninguém responder antes vou responder nem que seja daqui a umas semanas quando estiver com mais tempo.
    – Sergio
    Commented 16/06/2020 às 12:29
  • Estarei no aguardo da resposta! ; ) Commented 17/06/2020 às 6:08

1 Resposta 1

1

Parece uma pergunta boba mas a resposta é complexa ...

Eu vou tentar te dar um overview de como alterar o tom de um som já existente, isso é complexo de se fazer em qualquer linguagem, então vou tentar te dar um norte sobre os passos necessários ...

Eu raramente vejo API's para fazer isso, é difícil de ver esse tipo de manipulação fora de um DAW (Digital audio workstation).

No mundo do DSP (Digital Signal Processing / Processamento Digital de Sinais), chamamos isso de Pitch Shift (mudança de tom), essa mudança de tom acontece sem alterar a velocidade do áudio.

Não importa qual linguagem vc vai usar, você terá que decodificar seu áudio para poder modifica-lo, a parte de decode é só uma das partes complicadas da brincadeira, se seu áudio for um arquivo .wav as coisas ficam mais simples pois os arquivos .wav não são complicados de conseguir os valores PCM(Pulse code Modulation), com o seu áudio decodificado é possível fazer diversas modificações, alterar o volume, tocar o áudio de trás para frente, deixar o áudio mais lento ou mais rápido, alterar a tonalidade do áudio, plotar a forma de onda do áudio, etc, etc ... ou seja só é possível manipular e visualizar um som se essa etapa for feita antes OK...

A etapa acima só é um pré-requisito para o próximo passo, agora com o áudio decodificado você terá um vetor ou matriz(se o áudio for stereo) com os valores do seu áudio, um conjunto de valores/samples variando em float point ou short int, se vc plotar ou mandar desenhar esses valores vc terá a forma de onda da sua música ...

Algo assim só para exemplificar:

inserir a descrição da imagem aqui

Se você chegou até aqui, terá condições de manipular o vetor da forma de onda do seu áudio, um Pitch Shift é meio que considerado algo místico, existem algumas técnicas para se fazer isso, uma delas é esticar ou comprimir o seu áudio e depois interpolar na fração inversa, ao fazer isso você consegue alterar a tonalidade do áudio sem manter os formantes (manter os formantes significa manter a mesma característica do timbre, quando os formantes não são mantidos, se o tom ficar muito agudo vai deixar com um tom de esquilos rsrs ou se mudar para o grave vai ficando com tom de demônio...)

Ou seja se vc quer que o seu som fique duas vezes mais grave(2x) vc deverá deixar o som duas vezes mais lento e depois interpolar o áudio no seu fator inverso ou seja interpolar(resample) por 0.5, mais pq 0.5 ????? se vc deixou duas vezes mais lento a proporção inversa seria 1/2=0.5

Para deixar o tom duas vezes mais agudo, vc terá q deixar o seu áudio duas vezes mais rápido 0.5 e depois interpolar por 2 === 1/0.5 = 2

Esse é o segredo da brincadeira, mas como eu deixo o som mais rápido e mais lento??

quando vc quer q um som fique mais rápido, vc vai removendo pedaços/dados do seu vetor, ou seja isso vai deixando o áudio rápido, quando vc quer deixar seu áudio mais lento, vc vai colocando/repetindo dados no seu vetor... fui simplista de mais, esse processo é complicado, não dá pra ficar tirando e repetindo dados assim do nada rsrs, se vc fizer isso seu áudio vai começar a fazer barulhos, estralos, clicks, pops e é aqui que mora a parte complicada da brincadeira, Achar os lugares corretos para cortar o seu vetor, achar os pontos dentro do seu vetor que tem correlação para poder cortar ou repetir, fazer overlap(sobrepor) entre esses pontos para garantir uma junção suave.

Técnicas no domínio do tempo que você terá que ler artigos científicos:

  • TDHS (Time Domain Harmonic Sacaling)
  • SOLA (Synchronous Overlap Add)
  • PSOLA (Pitch Synchronous Overlap Add)
  • WSOLA (Waveform Similarity and Overlap Add)

Outro problema, essas técnicas só vão funcionar para áudios monofônicos, das técnicas acima eu considero a TDHS a mais simples de todas eu postei uma explicação com um pequeno pseudo código aqui, tirando a técnica PSOLA todas as outras são vão servir até o momento para deixar um áudio mais lento ou mais rápido, ainda vai faltar a parte da interpolação/resample para poder voltar o som na velocidade original com o tom alterado...

Interpolação/resample:

Tem diferentes tipos de interpolações, vc pode começar com algo mais simples, uma interpolação linear por exemplo:

for (int i=0; i<tam*fator; ++i)
    {
        float a = i / fator;
        int b1 = floor(a);
        int b2 = ceil(a);
        float x = a - b1;
        out[i] = sinal[b1] * x + sinal[b2] * (1-x);
    }

Mas e se eu só aplicar interpolação ? e não alterar a velocidade antes ?

R: se você só aplicar interpolação vc altera a tonalidade e a velocidade ao mesmo tempo, ou seja, se deixar o som rápido ele fica rápido e agudo ao mesmo tempo se deixar o som lento ele fica lento grave ao mesmo tempo (não sei sua idade, mas é um efeito parecido ao vc pegar um disco de vinil e girar ele com o dedo...)

OK essas são as técnicas usadas para se fazer isso no domínio do tempo e com áudio monofônicos, para áudios polifônicos, não tem para onde correr você terá que ir para o domínio da Freqüência e usar uma técnica chamada de Phase vocoder ou derivada dela, o processo é matematicamente complexo, eu coloquei uma resposta no StackOverflow DSP com um código que fiz aqui...

O código do Link acima aplica a técnica Phase Vocoder em um áudio, o processo deixa o áudio mais lento ou mais rápido, depois disso seria só aplicar a interpolação do código acima para alterar o tom do áudio ...

Desenvolvi e repliquei praticamente todas as técnicas dos algoritmos citados acima, se ficou curioso dá uma olhada em alguns vídeos demonstrando os resultados ...

Pitch shift em tempo real com python

Pitch shift com time stretch e freeze em tempo real com python

Protótipo de AutoTune mantendo os formantes

3
  • Caramba! Pelo visto não é algo fácil de se fazer hehehe. Obrigado pela resposta! Só mais uma pergunta que queria fazer: existe alguma forma de aplicar estes métodos (alterar velocidade, aplicar interpolação...) com o API de áudio de JS? Commented 3/07/2020 às 4:01
  • github.com/Collaboarator/PitchShifterJS/blob/master/…, copia esse html para o seu PC e testa, não é tempo real, um mp3 de aproximadamente 4 min demorou quase 1 min para começar a tocar após o processo de decode, o código faz todo o processo que te falei, é baseado em um phasevocoder que escala as frequências diretamente via Fourier
    – ederwander
    Commented 3/07/2020 às 11:48
  • Blz, vou dar uma olhada. Obrigado! Commented 3/07/2020 às 21:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .