2

Gostaria de saber da existência de alguma API Android/Java para reconhecimento de padrões sonoros.

Exemplo: Canto de passaros, é dado o som como entrada, e a aplicação retornaria a qual pássaro pertence este som.

A aplicação será usada para algo semelhante ao do exemplo.

3
  • projeto interessante, mas dificilmente exequivel. Tipo como comparar o som até existe, pois eu mesmo tenho um app para afinar violão aqui no meu cell, isso pode ser feito, agora para saber a qual passaro pertence o som vc precisaria ter todos os possiveis cantos de passaros em um database e comparar ou por frequencia ou por algum outro meio. Mas segue avante, é novidade Commented 13/08/2016 às 14:26
  • Como falei Armando, o canto dos passáros é só um exemplo, na verdade a quantidade de sons que irei comparar será limitado, no máximo dez diferentes. Valeu pelo incentivo
    – CA_93
    Commented 13/08/2016 às 23:55
  • 1
    @CA_93 Isso é aprendizado de máquina. Não é tão difícil quando as possibilidades são limitadas, como parece ser seu caso. Dê uma olhada nessa pergunta e nas respostas para entender melhor: pt.stackoverflow.com/questions/113343/… Commented 14/08/2016 às 23:10

3 Respostas 3

3

Vamos lá, resultados satisfatórios podem ser obtidos sem uso ANN/RNAs, comparar amplitude (mencionado em uma resposta aqui) nunca irá funcionar da maneira proposta, a pergunta é muito ampla, não posso simplesmente escrever um artigo aqui com todos os passos, apesar de parecer complicado se você tiver uma boa base matemática/algébrica e em processamento de sinais você verá que não é tão complicado assim, pode ser trabalhoso, mas não muito complexo, portanto estar familiarizado com esses campos é mais que essencial, além de base sólida em processos determinísticos e estocásticos.

Talvez eu comece a falar os passos aqui e você "não entenda bolhufas", portanto fica a seu critério se aprofundar, os passos são:

Extrair as características de cada pássaro (áudio de cada canto), isso pode ser feito extraindo o MFCC - Mel Frequency Cepstral Coeficientes

O MFCC extrai o envelope/formantes (contorno) das frequências de um sinal no domínio da frequência, isso nos diz de maneira consistente a forma do trato vocal no envelope do espectro, teremos as bandas de frequência igualmente espaçadas na escala mel, o qual se aproxima da resposta do sistema auditivo humano de forma mais estreita do que as bandas de frequência linearmente espaçados utilizados no cepstrum normal, de modo geral 12 coeficientes são suficientes, a grosso modo é um banco de filtros do espectro:

inserir a descrição da imagem aqui

Neste ponto você terá um vetor de 12 posições representando as características do canto para cada pássaro que deseja, não quero me aprofundar muito, mas a partir de agora tudo que você precisa fazer é comparar seu vetor pré gravado com um novo(atualmente desconhecido) e pontuar qual deles possui melhor similaridade, você pode inciar por comparações mais simples como Euclidiana ou tentar algo mas elaborado como por exemplo Dynamic Time Warping

1

Cara, eu te recomendaria usar a AudioInputStream. Usando-a, você pode pegar a amplitude da onda e, assim, encontrar um padrão no som de entrada e comparar, esse padrão, com os padrões que você já possui na aplicação, o canto de um pássaro como você falou, por exemplo.

Te recomendo algumas leituras:

Exemplo usando a AudioInputStream

http://ganeshtiwaridotcomdotnp.blogspot.com.br/2011/12/java-extract-amplitude-array-from.html

Java Doc

https://docs.oracle.com/javase/7/docs/api/javax/sound/sampled/AudioInputStream.html

1
  • Obrigado Max, irei dar uma aprofundada nesta Classe, não a conhecia
    – CA_93
    Commented 13/08/2016 às 23:57
1

Uma boa forma de fazer mas que requer uma pequena familiarização prévia com o conceito de Redes Neurais Artificiais seria extrair do som um vetor (ou dois vetores separados) contendo as frequências predominantes e amplitudes daquele trecho e usar esse vetor como entrada para uma RNA que foi previamente alimentada com gravações de pássaros conhecidos. Mais exatamente com os dados de frequência e amplitude dessas gravações.

Acredito que é um caso simples e apropriado para a aplicação de RNAs porque se tratam de sons simples, sem mistura de frequências. Naturalmente irá funcionar melhor quando os trechos sob teste forem de sons individuais, isto é, um único pássaro cantando por vez.

Estou falando sobre RNAs mas não entendo muito sobre elas. Conheço somente as do tipo Percéptron, e acredito que seja um caso para elas.

Não indico as bibliotecas mais apropriadas para isso porque não as conheço, mas nada que uma googlada por ANN (Artificial Neural Networks) e Java não resolva. E hoje em dia do jeito que as coisas estão talvez haja até algum serviço gratuito que ofereça RNAs para você treinar e utilizar.

Também deixo ao seu encargo escolher se é melhor executar esse processamento do lado do dispositivo Android ou de um servidor remoto.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .