Não dá de forma eficiente. Pode fazer isto:

    var array = { 1, 2, 3, 4, 5 }
    array = array.Where(item => item != 3).ToArray(); //retira o 4o. elemento

Se não quiser usar LINQ:

    var array = { 1, 2, 3, 4, 5 }
    array = = Array.FindAll(numbers, x => x != 3).ToArray(); //retira o 4o. elemento

Ou pode fazer um método de extensão para ter um [`removeAt()`][1](que existe em um List) no `Array`:

    public static T[] RemoveAt<T>(this T[] source, int index) {
        T[] dest = new T[source.Length - 1];
        if(index > 0) Array.Copy(source, 0, dest, 0, index);
        if(index < source.Length - 1) Array.Copy(source, index + 1, dest, index, source.Length - index - 1);
        return dest;
    }

[Coloquei no **GitHub** para referência futura][2].

[Fonte][3].

Nem mesmo uma lista conseguiria fazer isto de forma eficiente. Uma lista ligada até daria eficiência, até certo ponto.


  [1]: https://docs.microsoft.com/en-us/dotnet/api/system.collections.generic.list-1.removeat?WT.mc_id=DOP-MVP-5002397&view=net-5.0#System_Collections_Generic_List_1_RemoveAt_System_Int32_
  [2]: https://github.com/maniero/SOpt/blob/master/CSharp/Array/RemoveAt2.cs
  [3]: https://stackoverflow.com/a/457501/221800