Use um objeto Random
para ordenar a lista e o método Take
para limitar a quantidade de itens retornados.
Random rnd = new Random();
listaPessoas = listaPessoas.OrderBy(p => rnd.Next()).Take(3).ToList();
Veja funcionando no .NET Fiddle.
Como você quer fazer isso no banco, vai precisar de algo diferente. Uma forma de fazer, é ordenar por um Guid
, como não é possível saber o que vai ser gerado, a ordenação será randômica.
listaPessoas.OrderBy(r => Guid.NewGuid()).Take(3).ToList();
Essa opção é ótima porque não aumenta significativamente o tamanho da query e nem a complexidade dela.