Não dá de forma eficiente. Pode fazer isto:

    var array = { 1, 2, 3, 4, 5 }
    array = array.Where(item => item != 3).ToArray(); //retira o 4o. elemento

Se não quiser usar LINQ:

    var array = { 1, 2, 3, 4, 5 }
    array = = Array.FindAll(numbers, x => x != 3).ToArray(); //retira o 4o. elemento

Ou pode fazer um método de extensão para ter um [`removeAt()`][1](que existe em um List) no `Array`:

    public static T[] RemoveAt<T>(this T[] source, int index) {
        T[] dest = new T[source.Length - 1];
        if( index > 0 )
            Array.Copy(source, 0, dest, 0, index);
    
        if( index < source.Length - 1 )
            Array.Copy(source, index + 1, dest, index, source.Length - index - 1);
    
        return dest;
    }

[Fonte][2].

Nem mesmo uma lista conseguiria fazer isto de forma eficiente. Uma lista ligada até daria eficiência, até certo ponto.

  [1]: https://msdn.microsoft.com/en-us/library/5cw9x18z(v=vs.110).aspx
  [2]: https://stackoverflow.com/a/457501/221800