Uma outra alternativa é utilizar expressões regulares (System.Text.RegularExpressions) através de um padrão na 'linguagem' de busca Regex para fazer os "matches" (correspondências de valores) de apenas números e então usar Linq (System.Linq) para pegar o resultado, no caso uma coleção, fazer o 'cast' para um IEnumerable do tipo Match, desse IEnumerable tipado pegarmos somente os valores que queremos na propriedade 'value' e então convertermos para um array de strings, desse array usamos o método Join da classe String e então usamos o Split. Na verdade não há necessidade do Join e nem do Split e o código fica mais simples ainda. Deixo as duas opções para comparação.
1) Sem Split:
// varias linhas
string value = "97A96D112A109X1X15T114H122D118Y128";
var matches = Regex.Matches(value, "[0-9]+");
var arrayOfNumbers = matches.Cast<Match>().Select(m => m.Value).ToArray();
// uma linha apenas
string[] arrayOfNumbers = Regex.Matches("97A96D112A109X1X15T114H122D118Y128", "[0-9]+")
.Cast<Match>().Select(m => m.Value).ToArray();
2) Com Split:
string value = "97A96D112A109X1X15T114H122D118Y128";
var matches = Regex.Matches(value, "[0-9]+");
var arrayOfNumbers = String.Join("-", matches.Cast<Match>().Select(m => m.Value).ToArray()).Split('-');