O sistema de numeração binário não funciona diferente do sistema decimal. Assim como a soma ou multiplicação funciona igual, os operadores lógicos também. Portanto o XOR é feito bit a bit, como você somaria um decimal que é feito algarismo por algarismo, com a vantagem que não tem "vai um" nos operadores lógicos, nem faria sentido porque nessa operação os dígitos não possuem relação de grandeza, como na aritmética que um resultado em uma grandeza pode afetar o resultado da outra. Então:
110 => 1 1 0 (pra visualizar melhor)
011 => 0 1 1
--- -------
101 => 1 0 1
Só o do meio deu 0 porque ele não é exclusivo. Teria dado 0 se fosse 0 e 0, como no OR
normal.
Coloquei no GitHub para referência futura.