Como mencionado, pode-se fazer funcionar com VLC ou ffmpeg. Não sei exatamente os comandos para usá-los, então vou dar uma terceira opção: GStreamer
Verifique se seu SO tem algum pacote de instalação para GStreamer (acredito que não tem para OS/X), se não tiver você pode instalar baixando da URL abaixo:
http://gstreamer.freedesktop.org/download/
Num terminal, você pode testar se seu sistema consegue decodificar o stream RTSP usando:
gst-launch-1.0 playbin uri="<url do stream>"
Se executar corretamente então tudo certo. Caso contrário, pode ser que a versão que você instalou não tenha suporte ao formato usado ou você esbarrou em algum bug. Pode reportar em http://bugzilla.gnome.org/enter_bug.cgi?product=GStreamer
Tendo executado corretamente, você precisa agora fazer a transcodificação para HLS
gst-launch-1.0 uridecodebin uri="<url do stream>" name=d ! queue ! videoconvert ! x264enc ! h264parse ! queue ! mpegtsmux name=mux ! hlssink d. ! queue ! audioconvert ! faac ! queue ! mux.
Você pode usar gst-inspect-1.0 hlssink para ver algumas propriedades que você pode adicionar ao hlssink e configurar o local da playlist HLS e outros detalhes se quiser. O default vai ser que os arquivos para o HLS vão ser colocados na pasta onde você executar o comando.
Agora você precisa executar um servidor HTTP para servir os arquivos gerados. O mais simples seria:
python -m SimpleHTTPServer
e vai iniciar um servidor na porta 8000, ai basta você apontar o cliente para http://ip.do.seu.desktop:8000/playlist.m3u8