Porque quem é constante é o valor colocado ali no identificador e, ao contrário do que as pessoas pensam, o conteúdo desse identificador (que parece variável, mas não podemos chamá-lo assim porque ele não varia) é uma referência para o objeto. Este valor é constante, portanto não pode apontar para outro array neste identificador. Mas o objeto em si não é constante então pode mexer nele como quiser. É como se tivesse um envelope com dados dentro e fora dele, neste caso não pode mexer nos dados de fora, mas pode mexer no que está dentro.
Tem linguagens que conseguem proibir mexer no que está dentro. Em JS é bem limitado, e no array não tem como.
const array = ["a", "b", "c", "d"];
array[1] = 2;
console.log(array);
array = [1, 2]; //dá erro
Coloquei no GitHub para referência futura.