Use um objeto `Random` para ordenar a lista e o método `Take` para limitar a quantidade de itens retornados.

    Random rnd = new Random();
    listaPessoas = listaPessoas.OrderBy(p => rnd.Next()).Take(3).ToList();

[Veja funcionando no .NET Fiddle.][1]

Como você quer fazer isso no banco, vai precisar de algo diferente. Uma forma de fazer, é ordenar por um `Guid`, como não é possível saber o que vai ser gerado, a ordenação será randômica.

    listaPessoas.OrderBy(r => Guid.NewGuid()).Take(3).ToList();

  [1]: https://dotnetfiddle.net/xsv0Ld