2

Sou iniciante e estava tentando entender como gravar um áudio usando android e como ele processa esse audio. E durante as pesquisas encontrei esse site:Audio Record
O exemplo funciona perfeitamente. Porém eu não entendi de fato como que essa classe funciona para capturar o som e poder gravar esse som. Sabe-se que no processamento digital é feita uma amostragem (numero de amostras por segundo) dos valores de tensão e depois esses valores são convertidos em códigos binarios de acordo com as faixas de tensão. Então quanto maior o número de bits mais preciso vai ser a identificação do som. No exemplo abaixo ele usa 16 bits. Então eu estou com dúvida sobre como relacionar o que ele faz com o processamento de audio digital de fato.

  1. No exemplo ele declara uma variável de nome samplerate = 8000. Essa variável representa o número de amostras que o microfone do celular vai captar por segundo?
  2. A variável RECORDER_AUDIO_ENCODING é o numero de possibilidades (2¹6) que posso usar para relacionar os valores de tensão em forma digital com numeros binarios?
  3. Em certo momento ele pega o buffer minimo com o método getminBufferSize(). Por que ele tem que fazer isso? Eu não posso usar o tamanho do buffer que eu quiser?

    int bufferSize = AudioRecord.getMinBufferSize(RECORDER_SAMPLERATE,RECORDER_CHANNELS,RECORDER_AUDIO_ENCODING);

Na documentação ainda diz:

Returns the minimum buffer size required for the successful creation of an AudioRecord object, in byte units. Note that this size doesn't guarantee a smooth recording under load, and higher values should be chosen according to the expected frequency at which the AudioRecord instance will be polled for new data. See AudioRecord(int, int, int, int, int) for more information on valid configuration values. Eu não entendi essa questão dele ter que me dar o bugffer minimo. O que me impede de setar o buffer?

  1. Quando ele cria o objeto recorder da classe AudioRecord ele passa alguns parametros para o construtor e dentre esses parametros ele passa "BufferElements2Rec" e "BytesPerElement". Na documentação diz que esse parametro é o "bufferSizeInBytes". E diz o seguinte:

int: the total size (in bytes) of the buffer where audio data is written to during the recording. New audio data can be read from this buffer in smaller chunks than this size. See getMinBufferSize(int, int, int) to determine the minimum required buffer size for the successful creation of an AudioRecord instance. Using values smaller than getMinBufferSize() will result in an initialization failure. O que representa esse parametro, sendo que primeiro ele usa o buffersize = getminbuffersize() e depois ele usa "BufferElements2Rec" e "BytesPerElement"?

No meu entendimento ele pegaria amostras do som e gravaria os niveis de tensão converidos em numero binario. Eu não entendi direito ou ele faz isso? Se alguem puder em ajudar a entender isso ficaria agradecido!!!

            import java.io.FileNotFoundException;
            import java.io.FileOutputStream;
            import java.io.IOException;
            import android.app.Activity;
            import android.media.AudioFormat;
            import android.media.AudioRecord;
            import android.media.MediaRecorder;
            import android.os.Bundle;
            import android.view.KeyEvent;
            import android.view.View;
            import android.widget.Button;

            /**
            *
            * @author RAHUL BARADIA
            *
            *
            */
            public class Audio_Record extends Activity {
            private static final int RECORDER_SAMPLERATE = 8000;

            private static final int RECORDER_CHANNELS = AudioFormat.CHANNEL_IN_MONO;

            private static final int RECORDER_AUDIO_ENCODING = AudioFormat.ENCODING_PCM_16BIT;

            private AudioRecord recorder = null;
            private Thread recordingThread = null;
            private boolean isRecording = false;

            @Override
            public void onCreate(Bundle savedInstanceState) {
            super.onCreate(savedInstanceState);
            setContentView(R.layout.main);

            setButtonHandlers();
            enableButtons(false);

            int bufferSize = AudioRecord.getMinBufferSize(RECORDER_SAMPLERATE,
            RECORDER_CHANNELS, RECORDER_AUDIO_ENCODING);
            }

            private void setButtonHandlers() {
            ((Button) findViewById(R.id.btnStart)).setOnClickListener(btnClick);
            ((Button) findViewById(R.id.btnStop)).setOnClickListener(btnClick);
            }

            private void enableButton(int id, boolean isEnable) {
            ((Button) findViewById(id)).setEnabled(isEnable);
            }

            private void enableButtons(boolean isRecording) {
            enableButton(R.id.btnStart, !isRecording);
            enableButton(R.id.btnStop, isRecording);
            }

            int BufferElements2Rec = 1024; // want to play 2048 (2K) since 2 bytes we use only 1024
            int BytesPerElement = 2; // 2 bytes in 16bit format

            private void startRecording() {

            recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,
            RECORDER_SAMPLERATE, RECORDER_CHANNELS,
            RECORDER_AUDIO_ENCODING, BufferElements2Rec * BytesPerElement);

            recorder.startRecording();

            isRecording = true;

            recordingThread = new Thread(new Runnable() {

            public void run() {

            writeAudioDataToFile();

            }
            }, "AudioRecorder Thread");
            recordingThread.start();
            }

            //Conversion of short to byte
            private byte[] short2byte(short[] sData) {
            int shortArrsize = sData.length;
            byte[] bytes = new byte[shortArrsize * 2];

            for (int i = 0; i < shortArrsize; i++) {
            bytes[i * 2] = (byte) (sData[i] & 0x00FF);
            bytes[(i * 2) + 1] = (byte) (sData[i] >> 8);
            sData[i] = 0;
            }
            return bytes;
            }

            private void writeAudioDataToFile() {
            // Write the output audio in byte
            String filePath = "/sdcard/8k16bitMono.pcm";

                    short sData[] = new short[BufferElements2Rec];

            FileOutputStream os = null;
            try {
            os = new FileOutputStream(filePath);
            } catch (FileNotFoundException e) {
            e.printStackTrace();
            }

            while (isRecording) {
            // gets the voice output from microphone to byte format
            recorder.read(sData, 0, BufferElements2Rec);
            System.out.println("Short wirting to file" + sData.toString());
            try {
            // writes the data to file from buffer stores the voice buffer
            byte bData[] = short2byte(sData);

            os.write(bData, 0, BufferElements2Rec * BytesPerElement);

            } catch (IOException e) {
            e.printStackTrace();
            }
            }

            try {
            os.close();
            } catch (IOException e) {
            e.printStackTrace();
            }
            }

            private void stopRecording() {
            // stops the recording activity
            if (null != recorder) {
            isRecording = false;


            recorder.stop();
            recorder.release();

            recorder = null;
            recordingThread = null;
            }
            }

            private View.OnClickListener btnClick = new View.OnClickListener() {
            public void onClick(View v) {
            switch (v.getId()) {
            case R.id.btnStart: {
            enableButtons(true);
            startRecording();
            break;
            }
            case R.id.btnStop: {
            enableButtons(false);
            stopRecording();
            break;
            }
            }
            }
            };

            // onClick of backbutton finishes the activity.
            @Override
            public boolean onKeyDown(int keyCode, KeyEvent event) {
            if (keyCode == KeyEvent.KEYCODE_BACK) {
            finish();
            }
            return super.onKeyDown(keyCode, event);
            }
            }

1 Resposta 1

2

Respostas:

No exemplo ele declara uma variável de nome samplerate = 8000. Essa variável representa o número de amostras que o microfone do celular vai captar por segundo?

R: Samplerate = 8000hz quer dizer que a cada segundo 8000 amostras do microfone são capturadas, se fosse 44100hz a cada segundo 44100 amostras seriam capturadas...

O inverso é verdadeiro, depois que vc salvou e codificou ou seu áudio(mp3, wav, flac, etc) para tocar o áudio no tempo e frequências exatas é preciso despejar essas amostras na mesma amostragem em que ele foi gravado/gerado, para tocar um áudio sampleado em 8000Hz o seu player tem que jogar 8000 samples por segundo para a sua caixa de som, o que acontece se vc tem um áudio gravado em 44100hz e mandar dar play em 8000hz(mandar jogar 8000 samples por segundo para a caixa de som) ?

vai acontecer algo chamado downsample você está pegando menos amostras por segundo do que o áudio foi gerado, o áudio vai tocar bem mais lento e parecendo que veio do inferno (frequências graves).

Se existe o processo de downsample também vai existir o processo de upsample, um áudio gerado a 8000hz e tocado em 16000hz por exemplo, vai tocar duas vezes mais rápido e com as frequências oitavadas (frequências duas vezes maior) seu áudio vai ficar igual uns esquilos.

O processo digital possui algumas características do processo analógico, esse fenômeno upsample/downsample também acontecia nos discos de vinis, não sei sua idade, mas antigamente quando ia na casa da minha bizavó eu não entendia o que acontecia, ela tinha um toca discos que rodava a 78RPM ou seja 78 rotações por minuto (mecanicamente tinha um motor que girava o eixo do disco nesta velocidade) e eu ficava brincando com os discos com o dedo e alterando a velocidade da rotação do disco, o som hora ficava mais grave hora ficava mais agudo dependendo da velocidade que eu girava os discos, na verdade acontecia a mesma coisa, os discos foram gravados para serem executados a 78RPM e se vc alterar a velocidade de execução vai acontecer downsample/upsample...

A variável RECORDER_AUDIO_ENCODING é o numero de possibilidades (2¹6) que posso usar para relacionar os valores de tensão em forma digital com numeros binarios?

É realmente a maneira que você vai representar os valores de tensão, não são em binários, vão estar no formato PCM um short int ou float point, você pode mandar plotar esses valores, ele vai estar representado no formato que você escolheu, por exemplo se vc encodar um áudio em short int (ENCODING_PCM_16BIT) as representações da suas tenções vão variar entre números inteiros que vão de -32768 até 32767 para um áudio encodado em float point ENCODING_PCM_FLOAT as representações variam de -1 até 1, é só uma maneira de representação, alguns preferem short int outros float point, alguns sistemas só conseguem dar play em valores representados em float point, no android por exemplo existe diferença de desempenho, processadores ARM low-end possuem pior desempenho com áudios em float point...

Em certo momento ele pega o buffer minimo com o método getminBufferSize(). Por que ele tem que fazer isso? Eu não posso usar o tamanho do buffer que eu quiser?

O Android é um sistema conhecido por problemas de latência, o SO e o Hardware são problemáticos e trabalhar com áudio em android é preciso ser mágico rsrs, o getminBufferSize() é um parâmetro gerado pelos desenvolvedores do google que tenta garantir um tamanho mínimo e aceitável para que você consiga gravar seu áudio com menos latência possível, se você colocar um tamanho de buffer menor do que o retornado pelo getminBufferSize() vai demandar mais processamento e por esse motivo isso foi travado, e o que acontece se você quiser colocar um buffer maior ? vai funcionar? isso vai depender do seu hardware e do SO, o dispositivo possui memória suficiente para trabalhar com o buffer de sua escolha? são perguntas que eu não vou poder te responder...

Se você notar no seu código a variável bufferSize não está sendo usada em nenhum lugar, na verdade o ultimo parâmetro(int bufferSizeInBytes) usado em seu AudioRecord

AudioRecord (int audioSource, 
                int sampleRateInHz, 
                int channelConfig, 
                int audioFormat, 
                int bufferSizeInBytes)

É de 2048

int BufferElements2Rec = 1024;only 1024
int BytesPerElement = 2

veja:

BufferElements2Rec * BytesPerElement

Só lembrando que o getminBufferSize() automaticamente gera valores de buffer diferentes dependendo do dispositivo, em teoria você não precisa ficar calculando e se preocupando com isso.

7
  • Sobre a segunda questão: A forma que ele trabalha é mais ou menos essa? para tensões entre 1.0v e 1.5v vai ter um valor 15 do tipo short int para tensões entre 1.5v e 2.0v vai ter um valor 16 do tipo short int E assim por diante... Mais ou menos dessa forma?
    – L.J
    27/09/2017 às 23:10
  • Sobre a terceira questão: De fato ele não usa o retorno do getminBufferSize() (bufferSize). Então eu poderia, ou melhor , deveria usar getminBufferSize() ao criar o objeto da classe AudioRecord? Como vc disse, se ja existe uma função que me retorna esse valor, por que a pessoa que fez esse codigo colocou 2048?
    – L.J
    27/09/2017 às 23:12
  • No código ele usa "recorder.read(sData, 0, BufferElements2Rec);" para salvar os valores lidos no array sData. Depois ele salva esse vetor no arquivo. Se eu quiser gerar um gráfico amplitudextempo, como que eu faço para pegar a amplitude e o tempo?Como que ele faz essa indexação?
    – L.J
    27/09/2017 às 23:12
  • são tantas perguntas, algumas fogem da sua pergunta original, o processo de conversão das tensões é muito complexo para responder aqui, existe um processo chamado Analog-to-digital converter (ADC), envolve sampling e quantization, o ADC tenta pegar por amostragem a forma de onda analógica da forma mais fiel possível, o processo que converte esses dados para short int ou float point são os dados encodado em PCM, se o seu app for algo simples vc pode usar o getminBufferSize mas e o seu app precisar trabalhar com um buffer específico vc é livre pra escolher
    – ederwander
    28/09/2017 às 11:14
  • vc pode usar o valor para plotar os seus dados, não existe nada indexado o tamanho do vetor é o tempo do seu áudio e os valores contidos nele representam a amplitude do seu áudio, dá pra usar o canvas do java para plotar e ver a forma de onda, isso também é outra pergunta haha, tente segmentar os seus problema e fazer novas perguntas, assim mais pessoas podem te ajudar, uma dica tente não fazer 1000 perguntas em uma só questão, vai ser complicado alguém conseguir responder ....
    – ederwander
    28/09/2017 às 11:18

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .