Não vou falar sobre o que pode ser errado nessa ideia, porque depende da situação, e vou entender que sabe o que está fazendo.

Exatamente o que parece desejar não é possível, mas se quer mesmo, considere redesenhar a o tipo para não expor o *array* de forma direta e controlar o que pode fazer ou não dentro da classe, validando se está fazendo algo que você aceita.

Para conseguir o que deseja, se não quer poder mudar o tamanho nem o objeto é só fazer o *array* ser `readonly`.

Se não quiser deixar passar batido nem gerar exceção se tentar fazer algo não permito, mas quer aviusar se deu certo, tem que fazer um método usando o [padrão TryCan][1].

    using static System.Console;
    
    Teste teste = new();
    //teste.array = new int[5];
    teste.array[0] = 1;
    teste.Array = new int[5];
    WriteLine(teste.Array.Length);
    teste.Array = new int[4];
    WriteLine(teste.Array.Length);
    
    public class Teste {
    	public readonly int[] array = new int[4];
    	private int[] array2 = new int[4];
    	public int[] Array { get => array2;	set {
    			if (value.Length == 4) array2 = value;
    			//decide se quer gerar uma exceção no else
    		}
    	}
    }


  [1]: https://pt.stackoverflow.com/q/16089/101