A resposta também é simples e rápida: seria não. Pelo menos não utilizando um browser, sem que ambos os usuários possuam um aplicativo específico para esse fim instalado em seus computadores.
Porém, como comentou abaixo o @GuilhermeBernal, existe o WebRTC, que ainda está em fase de especificação e não é suportado em todos os browsers. A API é toda voltada a comunicação em tempo real, porém, segundo este tutorial ainda é necessário utilizar servidores antes de estabelecer a conexão entre os navegadores, para que um saiba da existência do outro.