Esse trecho trabalha com o binário dos números, você deve entender o funcionamento de cada um:
1) O simbolo "|" significa "OU inclusivo" e o que ele faz é o seguinte:
Faz o valor do bit igual a 1 se um ou ambos os bits correspondentes nos operandos é 1 e 0 nos demais casos. Exemplo: se a variável var tem o valor 12 (00001100) e fazendo a operação com 6 (00000110), o resultado, var | 6, será 14 (00001110).
2) O simbolo "<<" significa "deslocamento à esquerda" e o que ele faz é o seguinte:
Desloca, para a esquerda, os bits do operando esquerdo no valor dado pelo operando direito. Equivale à multiplicação pela potência de 2 dada por este último. Exemplo: se a variável var tem o valor 3 (00000011), após var << 2, ela será 12 (00001100).
Então o que seu código está fazendo é mais ou menos isso:
teste = ((x0|x2) | (x1|x2) << 1);
teste = ((00000000|00000001) | (00000000|00000001) << 00000001);
teste = (00000001 | 00000001 << 00000001);
//O operador << tem precedência, então neste momento ele é executado primeiro
teste = (00000001 | 00000001 << 00000001);
teste = (00000001 | 00000010);
teste = (00000011);
teste = (3);
Caso ainda tenha duvidas com mais algum tipo de operador, essa página http://www.mspc.eng.br/info/cpp_oper_10.shtml explica bem o funcionamento de cada um.