Você quer um rhythm follow
? precisa só descobrir quando as batidas acontecem e tomar uma ação ?
Não posso fazer por você, mas posso te dar um norte lol...
Estes algoritmos utilizam um combo de filtros
para decompor o sinal de áudio em diferentes faixas de frequências, as batidas mais perceptíveis sempre vão estar nas faixas de frequências mais baixas, se você aplicar filtros nas faixas de frequências desejadas terá como retorno o envelope da amplitude contido no áudio, o envelope das amplitudes vão sinalizar onde as batidas estão acontecendo...
Já faz muito tempo que escrevi uma breve explicação de como isso funciona aqui, o meu código calcula quantas batidas por minuto uma música tem, para identificar isso é preciso encontrar as batidas contidas no áudio, você poderá utilizar isso em seu código e tomar uma ação ...
O meu código para calcular bpm (beats per minute)
só vai resolver metade do problema, você também vai precisar identificar a frequência da batida (grave ou agudo), para isso você vai precisar desenvolver um Pitch track
, desenvolvi um para o tarsos , meu código pode ser encontrado aqui, se as frequências das batidas já forem conhecidas, você poderá substituir o pitch track olhando apenas os resultados do envelope das amplitudes, claro neste caso você terá que ter dois filtros para decompor o áudio nas frequências esperadas, se encontrar picos maiores no envelope das frequências agudas tome ação para batidas agudas caso contrário tome ação para batida grave...
Existe uma maneira mais simples de identificar as batidas em tempo real, você pode calcular a diferença de decibéis do atual frame com o frame anterior, se os decibéis ultrapassarem um determinado limite proposto por você uma batida aconteceu, escrevi algo bem simples de como isso pode ser feito aqui, claro esse método não é nada robusto.
Se a batida não for importante, quer apenas descobrir onde está os graves e os agudos? você vai precisar somente de um pitch track, detalhe importante o meu código para pitch track não vai funcionar bem em áudios polifônicos...
EDIT
Dei uma olhada no youtube em gameplays do melody's escape
, é nítido o que o algoritmo faz, ele processa todo o áudio antes, analisa pedaço por pedaço, descobre quantas batidas por minuto o áudio contem, repara que quando as batidas por minuto for alto o jogo fica mais rápido, ele também processa o pitch do áudio, isso é feito offline (antes de começar o game), depois de terminar a análise ele já vai saber quais são os locais do áudio onde as batidas são rápidas ou lentas, onde tem tonalidades graves e agudas, depois disso ele só precisa montar o level/obstáculos do game baseado nas análises, claro eu observei que ele também faz outras análises para deixar a sensação ritma do jogador mais real, ele por exemplo calcula se tem uma diferença abrupta de batidas, quando isso acontece sem a presença de druns e kicks
o algoritmo foca na extração do pitch(frequência), ele foca se alguma frequência possui sustentação e cria uma barra de deslise para a nota em questão....