2

Eu tentei gravar o som do desktop com o pyaudio, mas eu só posso ouvir o som do microfone ou do alto-falante.

Também baixei o portaudio, mas não tenho certeza se posso obter o som do alto-falante e o som do microfone com ele simultaneamente

Reparei que quando eu mudei o dispositivo de entrada para stereo mixer consegui gravar o áudio do auto-falante mas deixei de gravar o microfone.

Este é o código que estou utilizando:

import pyaudio
import wave
import threading
import time
import subprocess

CHUNK = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 2
RATE = 44100
RECORD_SECONDS = 5
WAVE_OUTPUT_FILENAME = "tmp/tmp.wav"

class recorder:
    def __init__(self):
        self.going = False
        self.process = None
        self.filename = "ScreenCapture.mpg"
    def record(self,filename):
        try:
            if self.process.is_alive():
                self.going = False
        except AttributeError:
                print("test")
        self.process = threading.Thread(target=self._record)
        self.process.start()
        self.filename = filename
    def _record(self):
        p = pyaudio.PyAudio()
        stream = p.open(format=FORMAT,
                        channels=CHANNELS,
                        rate=RATE,
                        input=True,
                        frames_per_buffer=CHUNK,
                        as_loopback=True)

        #print("* recording")

        frames = []

        self.going = True

        while self.going:
            data = stream.read(CHUNK)
            frames.append(data)

       # print("* done recording")

        stream.stop_stream()
        stream.close()
        p.terminate()

        wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
        wf.setnchannels(CHANNELS)
        wf.setsampwidth(p.get_sample_size(FORMAT))
        wf.setframerate(RATE)
        wf.writeframes(b''.join(frames))
        wf.close()


    def stop_recording(self):
        self.going = False

O que devo fazer?

Código atualizado conforme o conselho do ederwander mas ainda não funcionou.Não sei se o problema é o código ou meu notebook :

import pyaudio
import wave
import threading
import time
import subprocess
#from pydub import AudioSegment
import numpy as np

CHUNK = 1024
FORMAT = pyaudio.paInt16
#CHANNELS = 2
RATE = 44100
RECORD_SECONDS = 5
WAVE_OUTPUT_FILENAME = "tmp/tmp.wav"

p = pyaudio.PyAudio()

for i in range(0, p.get_device_count()):
    print(i, p.get_device_info_by_index(i)['name'])


class recorder:
    def __init__(self):
        self.going = False
        self.process = None
        self.filename = "ScreenCapture.mpg"

    def record(self, filename):
        try:
            if self.process.is_alive():
                self.going = False
        except AttributeError:
            print("test")
        self.process = threading.Thread(target=self._record)
        self.process.start()
        self.filename = filename

    def _record(self):
        #p = pyaudio.PyAudio()
        stream = p.open(
            format=FORMAT,
            channels=2,
            rate=RATE,
            input=True,
            frames_per_buffer=CHUNK,
            input_device_index=0,
            as_loopback=True)
        stream2 = p.open(
            format=FORMAT,
            channels=1,
            rate=RATE,
            input=True,
            frames_per_buffer=CHUNK,
            input_device_index=1)
        # as_loopback=False)

        print("* recording")

        frames = []
        frames2= []

        self.going = True

        while self.going:
            data = stream.read(CHUNK)
            data2 = stream2.read(CHUNK)
            frames.append(data)
            frames2.append(data)
        # frames = dados do som as_loopback (Speakers)
        frames = b''.join(frames);

        # frames2 = dados do som  Microfone
        frames2 = b''.join(frames2);

        # decodificando os dados do Speaker
        Sdecoded = np.frombuffer(frames, 'int16')

        # decodificando o microfone
        Mdecoded = np.frombuffer(frames2, 'int16')

        # convertendo os dados do Speaker em um vetor do tipo Numpy (facilitando a vida na hora de pegar os canais de áudio)
        Sdecoded = np.array(Sdecoded, dtype='int16')

        # pegando os dados do lado direito
        direito = Sdecoded[1::2]

        # pegando os dados do lado esquerdo
        esquerdo = Sdecoded[::2]

        # mixando tudo para mono = somar lado direito + lado esquerdo + os dados decofificados do Microfone q já estão em mono
        mix = (direito + esquerdo + Mdecoded)

        # garantindo que nenhum valor extrapole os limites do short int
        signal = np.clip(mix, -32767, 32766)

        # codificar os dados novamente
        encodecoded = wave.struct.pack("%dh" % (len(signal)), *list(signal))

        print("* done recording")

        stream.stop_stream()
        stream.close()
        stream2.stop_stream()
        stream2.close()
        p.terminate()

        wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
        wf.setnchannels(1)
        wf.setsampwidth(p.get_sample_size(FORMAT))
        wf.setframerate(RATE)
        #wf.writeframes(b''.join(frames))
        wf.writeframes((encodecoded))
        wf.close()

    def stop_recording(self):
        self.going = False
1
  • Por favor evitem longas discussões nos comentários; a conversa de vocês foi movida para o chat
    – Maniero
    12/01/2020 às 2:51

1 Resposta 1

1

Vamos lá, primeiro instale o Numpy via pip um pip install numpy deve resolver a questão... Vamos precisar dele pra fazer o decode de forma rápida, neste código também uso ele pra converter listas em vetores, também uso a função clip que funciona como um limiter no áudio, quando vc mixa algo vc apenas soma os vetores, ao fazer isso inevitavelmente vc irá extrapolar o valor mínimo do short int então precisamos forçar os dados extrapolados a ficarem dentro do limite com a função clip.

Deixei o código bem clean e comentei cada parte para vc entender o que tá rolando, fiz um for no inicio para o Pyaudio me mostrar quais são as interfaces que tenho no meu SO:

C:\Python37>python.exe gravando.py
0 Mapeador de som da Microsoft - Input
1 Microfone (Realtek High Definit
2 Mixagem estéreo (Realtek High D
3 Mapeador de som da Microsoft - Output
4 Alto-falantes (Realtek High Def
5 Alto-falantes (Realtek High Definition Audio)
6 Microfone (Realtek High Definition Audio)
7 Mixagem estéreo (Realtek High Definition Audio)
8 Speakers (Realtek HD Audio output)
9 Mixagem estéreo (Realtek HD Audio Stereo input)
10 Microfone (Realtek HD Audio Mic input)
11 Entrada (Realtek HD Audio Line input)

Essa é a saída que recebo quando rodo o script, estou usando o idex 0 para capturar o áudio do SO via loopback e o index 1 para capturar os dados do microfone, dentro do loop estou capturando as duas instâncias, depois que a captura termina iniciei todo o processo de decodificação do áudio, conversão do áudio de stereo para mono, clipando o áudio, e finalmente gravando tudo em mono em 44100Hz em um arquivo .wav ...

import pyaudio
import wave
import numpy as np


CHUNK = 1024
FORMAT = pyaudio.paInt16
RATE = 44100
RECORD_SECONDS = 2
WAVE_OUTPUT_FILENAME = "tmp.wav"


p = pyaudio.PyAudio()


for i in range(0, p.get_device_count()):
    print(i, p.get_device_info_by_index(i)['name'])


#stream usando o as_loopback para pegar som do SO
stream = p.open(
    format = FORMAT,
    channels = 2,
    rate = RATE,
    input=True,
    frames_per_buffer=CHUNK,
    input_device_index=0,
    as_loopback=True)

##stream usando o iput device do meu Microphone
stream2 = p.open(
    format = FORMAT,
    channels = 1,
    rate = RATE,
    input=True,
    frames_per_buffer=CHUNK,
    input_device_index=1)
    #as_loopback=False)


frames = []
frames2 = []


for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
    data = stream.read(CHUNK)
    data2 = stream2.read(CHUNK)
    frames.append(data)
    frames2.append(data2)


#frames = dados do som as_loopback (Speakers)
frames= b''.join(frames);

#frames2 = dados do som  Microfone
frames2= b''.join(frames2);

#decodificando os dados do Speaker
Sdecoded = np.frombuffer(frames, 'int16')

#decodificando o microfone
Mdecoded = np.frombuffer(frames2, 'int16')

#convertendo os dados do Speaker em um vetor do tipo Numpy (facilitando a vida na hora de pegar os canais de áudio)
Sdecoded= np.array(Sdecoded, dtype='int16') 

#pegando os dados do lado direito
direito=Sdecoded[1::2]

#pegando os dados do lado esquerdo
esquerdo=Sdecoded[::2]

#mixando tudo para mono = somar lado direito + lado esquerdo + os dados decofificados do Microfone q já estão em mono
mix=(direito+esquerdo+Mdecoded)

#garantindo que nenhum valor extrapole os limites do short int
signal=np.clip(mix, -32767, 32766)

#codificar os dados novamente 
encodecoded = wave.struct.pack("%dh"%(len(signal)), *list(signal))


#parar todos os streams e finalizar o pyaudio
stream.stop_stream()
stream.close()
stream2.stop_stream()
stream2.close()
p.terminate()


#gravando o áudio mixado em mono 
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(1)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes((encodecoded))
wf.close()

Se tudo correu bem vc deve ter um arquivo de áudio com a captura do Microfone + SPEAKERS

PS: se vc não quiser que o arquivo .wav seja em mono vc pode somar os dados do microfone em um dos canais (direito ou esquerto) ou simplesmente tentar mesclar os dados do Microfone entre os dois canais (fiz a saída em mono pq é beeeemm mais simples ....)

5
  • Ainda não funcionou.
    – Gabriel
    10/01/2020 às 16:22
  • Coloquei o código na descrição
    – Gabriel
    10/01/2020 às 16:23
  • Funcionou agora!!Mudei o input_device_index do SO.
    – Gabriel
    14/01/2020 às 12:29
  • Por favor alguém faça o ederwander o rei da internet
    – Gabriel
    14/01/2020 às 12:29
  • Só não consegui usar dentro do meu projeto ainda mas o código está correto
    – Gabriel
    14/01/2020 às 14:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .