O `&` é o operador de bits *and*, então ele compara cada bit do dado verificado e resulta em 1 sempre que o bit correspondente nos dois operandos são 1, afinal o *and* só é verdadeiro quando ambos são verdadeiros, caso contrário o resultado será 0, e assim manipula-se bits.

Essa é a função primária dele e sabendo usá-lo bem pode-se fazer algumas otimizações (não que precise sempre) evitando que existam *branches* desnecessários que é uma operação de processador bem custosa. Operações com ele podem ser vistas em https://pt.stackoverflow.com/q/175345/101.

Claro que se você fizer isso em um dado booleano, só 1 bit é relevante, e eles serão calculados e o resulto pode ser usado como um booleano, então serve em um `if`, por exemplo.

É preciso entender que o `if` só aceita um booleano. Então ele só pode aplicar em operandos que valham 00000000 ou 00000001 e seja do tipo booleano. Apenas o último bit é relevante, sem considerar [*endianess*][1].

Em uma expressão booleana mais complexa com mais de uma subexpressão este operador sempre executará todas subexpressões (os operandos do `&`), não importa o resultado, em alguns casos é o que deseja, em outros não precisa se preocupar com a segunda subexpressão quando o resultado da primeiro é 0 (falso), então pode-se usar o `&&`.

O `&&` é o *and* lógico e não trabalha com bits, só com o resultado booleano. Ele tem [curto-circuito][2], então ele só executa a segunda subexpressão se a primeira for verdadeira.

O mesmo vale para o `|` e `||`, só que neste caso é um *or*, então no `||` se o primeiro for verdadeiro não executa o segundo porque basta uma subexpressão ser verdadeira para tudo ser considerado verdadeiro.

    using static System.Console;
    					
    public class Program {
    	public static void Main() {
    		var x = 1;
    		var y = 2;
    		var a = x & y;
    		var b = x == 1;
    		var c = y == 2;
    		var d = x & y;
    		var e = (x & y) == 0;
    		WriteLine(a);
    		WriteLine(d); //note que é um inteiro
    		WriteLine(e);
    		//if (x & y) WriteLine("ok"); //não funciona porque if espera um bool e o resultado é int
    		if (b & c) WriteLine("ok"); else WriteLine(" não ok");
    		if (Teste(x) & Teste(y)) WriteLine("&  - ok"); else WriteLine("&");
    		if (Teste(x) && Teste(y)) WriteLine("&& - ok"); else WriteLine("&&");
    		if (Teste(x) | Teste(y)) WriteLine("|  - ok"); else WriteLine("|");
    		if (Teste(x) || Teste(y)) WriteLine("|| - ok"); else WriteLine("||");
    		if (Teste(y) & Teste(x)) WriteLine("&  - ok"); else WriteLine("&");
    		if (Teste(y) && Teste(x)) WriteLine("&& - ok"); else WriteLine("&&");
    		if (Teste(y) | Teste(x)) WriteLine("|  - ok"); else WriteLine("|");
    		if (Teste(y) || Teste(x)) WriteLine("|| - ok"); else WriteLine("||");
    	}
    	public static bool Teste(int x) {
    		WriteLine($"Executou {x}");
    		return x == 2;
    	}
    }

Veja [funcionando no .NET Fiddle][3]. E [no Coding Ground][4]. Também [coloquei no GitHub para referência futura][5].

Pode ver mais em https://pt.stackoverflow.com/q/52949/101.

A [tabela verdade][6] determina os resultados de álgebra booleana.

[![Tabela verdade][7]][7]


  [1]: https://pt.stackoverflow.com/q/50457/101
  [2]: https://pt.stackoverflow.com/q/154056/101
  [3]: https://dotnetfiddle.net/mBFUXc
  [4]: http://www.tutorialspoint.com/compile_csharp_online.php?PID=0Bw_CjBb95KQMSFozSC1XOENJbHM
  [5]: https://github.com/bigown/SOpt/blob/master/CSharp/Operator/And.cs
  [6]: https://en.wikipedia.org/wiki/Truth_table
  [7]: https://i.sstatic.net/Mxtgu.jpg