De acordo com a MDN:
NaN - A propriedade global NaN é um valor especial que significa Not-A-Number (não é um número).
De acordo com as especificações ECMAScript 5(índice 9.5) e ECMA 262(índice 7.1.5), quado fazemos uma operação bit a bit todos os elementos envolvidos são convertidos para ToInt32. Se o valor for uma das propriedades globais NaN ou infinity o valor é convertido para 0.
Sendo assim, NaN XOR NaN
é equivalento à 0 XOR 0
console.log("NaN ^ NaN:");
console.log(NaN ^ NaN);
console.log("0 ^ 0:");
console.log(0 ^ 0);
console.log("Infinity ^ 0:");
console.log(Infinity ^ 0);