Você vai precisa desenvolver um [VAD (voice activity detection)][1] !

Desenvolvi alguns com resultados satisfatórios, os métodos que conheço e já testei são:

 - [Zero crossing Rate][2] - Consiste em detectar quantas vezes o sinal de voz cruzou o eixo X, se tiver baixa ocorrência de cruzamentos a fala esta presente, com alta ocorrência sem fala encontrada.
 - Energia - Consiste em detectar os decibéis/rms, é uma das maneiras mais simples porém com problema grave de falso-positivo.
 - band Pitch Filter- Aplicar filtros no sinal para capturar somente a faixa de voz do ser humano, a voz humana é capaz de reproduzir sons entre 80 e 1100Hz, ou seja é um amplo espectro de frequências o que torna as coisas mais complicadas.
 - Além de aplicar filtros é importante capturar as frequências de cada frame processado (Pitch Track), isso vai te ajudar e muito em algumas decisões, pode refinar seus resultados quando confrontado com o resultado de outras técnicas.

Muitos algoritmos utilizam-se somente da informação do Zero crossing rate veja um plot desta técnica:


![inserir a descrição da imagem aqui][3]


É visível a comparação entre a amplitude do sinal com o contorno do cruzamento de eixo, na imagem perceba os picos do ZCR(Zero crossing rate) são exatamente onde a fala não esta presente isso é totalmente reciproco com a amplitude que está intimamente ligada a energia do sinal.  

Se você combinar as técnicas descritas aqui vai conseguir bons resultados, vai precisar definir thresholds para ruídos, frequências, cruzamentos de eixo e o tempo em segundos ou milissegundos de silencio considerável (a pessoa pode estar falando uma frase com pausas entre cada palavra).

Claro estamos falando de processamento em tempo real, para cada frame processado é necessário aplicar três ou mais técnicas, a grande vantagem é que elas não são complexas, são computacionalmente eficientes o que vai te permitir saber onde cortar o inicio e fim de cada frase ou palavra.


Só pra você saber o google consegue entender "OK google" por ter um algoritmo de reconhecimento de fala ou seja tudo que é falado é transcrito em texto, isso já é outra história muito mais complexa ....
  


  [1]: http://en.wikipedia.org/wiki/Voice_activity_detection
  [2]: http://en.wikipedia.org/wiki/Zero-crossing_rate
  [3]: https://i.sstatic.net/CrQ6F.png