Melhor maneira de usar é com [Fisher-Yates shuffle][1] (algoritmo para gerar uma permutação aleatória de uma sequência finita)

Crie uma extensão:

    public static class EnumerableExtensions
    {
        public static IEnumerable<T> Shuffle<T>(this IEnumerable<T> source)
        {
            return source.Shuffle(new Random());
        }
    
        public static IEnumerable<T> Shuffle<T>(this IEnumerable<T> source, Random rng)
        {
            if (source == null) throw new ArgumentNullException("source");
            if (rng == null) throw new ArgumentNullException("rng");
    
            return source.ShuffleIterator(rng);
        }
    
        private static IEnumerable<T> ShuffleIterator<T>(
            this IEnumerable<T> source, Random rng)
        {
            List<T> buffer = source.ToList();
            for (int i = 0; i < buffer.Count; i++)
            {
                int j = rng.Next(i, buffer.Count);
                yield return buffer[j];
    
                buffer[j] = buffer[i];
            }
        }
    }

maneira de usar:

    listaPessoas = listaPessoas.Shuffle().Take(3);


  [1]: https://en.wikipedia.org/wiki/Fisher%E2%80%93Yates_shuffle