Se quiser usar o método nativo da PyQt, tem o QSound
:
meusom = QSound("alerta.wav")
meusom.play()
Há um método que retorna um valor bool, para você saber se o recurso está disponível:
bool QSound::isAvailable()
Isto é útil para você verificar se precisa de um meio alternativo de notificação, caso a plataforma não consiga reproduzir o áudio.
A pergunta fala em PyQt 4, mas para quem estiver usando a 5, compensa uma olhada na QSoundEffect
também, mais versátil e de baixa latência:
http://doc.qt.io/qt-5/qsoundeffect.html