Tem várias formas de fazer isto, cada uma com suas vantagens. Como não há restrições vou colocar o que provavelmente é a forma mais simples. Estou usando LINQ:
var arquivo1 = File.ReadAllBytes(nomeArquivo1);
var arquivo2 = File.ReadAllBytes(nomeArquivo2);
WriteLine(arquivo1.SequenceEqual(arquivo2)); //mostra se é igual ou não
Coloquei no GitHub para referência futura.
Algumas melhorias podem ser feitas, como ir carregando o arquivo sob demanda. Sem carregar byte por byte, que ficaria muito lento, o ideal é ter um buffer de pelo menos 4096 bytes.
No momento de montar o array, ao invés de usar um array de bytes, poderia montar os bytes em conjuntos de 8 e armazenar em um array de Int64
e compará-lo. A comparação será mais rápida, mas não sei o quanto o algoritmo como um todo seria mais rápido, tem que considerar o gasto com o cast, a lógica para montar isto, a carga dos dados que teria que ser um pouco diferente. Só testando para ter certeza qual seria mais rápido.
Se a performance for muito importante talvez o uso de ponteiros possa ajudar. Assim como evitar o LINQ que tem um pequeno overhead. Novamente, só testando para ter certeza.
Algumas verificações extras podem ser feitas se necessárias.
Para fazer um diferencial entre eles é bem mais complicado e é difícil fazer certo. A Google já fez um diff antes usando algoritmos conhecidos. Tem umas gambiarras já que é um port.
Tem outras perguntas aqui que mostra como varrer um diretório, é só adpatar ao algoritmo desejado: