Não vou falar sobre o que pode ser errado nessa ideia, porque depende da situação, e vou entender que sabe o que está fazendo.

Exatamente o que parece desejar não é possível, mas se quer mesmo, considere redesenhar o tipo para não expor o *array* de forma direta e controlar o que pode fazer ou não dentro da classe, validando se está fazendo algo que você aceita.

Se não quer poder mudar o tamanho nem o objeto é só fazer o *array* ser `readonly`.

Se não quiser deixar passar batido nem gerar exceção se tentar fazer algo não permito, mas quer aviusar se deu certo, tem que fazer um método usando o [padrão TryCan][1].

Vou demonstrar as duas possibilidades expondo o campo e usando uma propriedade (vou ignorar o tipo `Pessoa` porque ele é irrelevante para o problema):

    using static System.Console;
    
    Teste teste = new();
    //teste.array = new int[5];
    teste.array[0] = 1;
    teste.Array = new int[5];
    WriteLine(teste.Array.Length);
    teste.Array = new int[4];
    WriteLine(teste.Array.Length);
    
    public class Teste {
    	public readonly int[] array = new int[4];
    	private int[] array2 = new int[4];
    	public int[] Array { get => array2;	set {
    			if (value.Length == 4) array2 = value;
    			//decide se quer gerar uma exceção no else
    		}
    	}
    }

Veja [funcionando no **ideone**][2]. E [no **repl.it**][3]. Também [coloquei no **GitHub** para referência futura][4].

Ainda existe a possibilidade de fazer uma ferramenta externa ligada ao *pipe* de compilação para analisar o código e indicar que está tentando fazer algo não permitido e não deixar a mudança sem ter que recorrer ao tempo de execução (o que também impediria usar uma variável para determinar o tamanho do *array*), mas é muita complexidade, duvido que valha a pena.


  [1]: https://pt.stackoverflow.com/q/16089/101
  [2]: https://ideone.com/BlucLv
  [3]: https://dotnetfiddle.net/YE1v5d
  [4]: https://github.com/maniero/SOpt/blob/master/CSharp/Class/OnlySpecificSizeArray.cs