Porque um ponteiro contém um endereço de memória, e todos os endereços de memória têm o mesmo tamanho.

Por exemplo, imagine que a memória do computador seja parecida com uma rua com várias casas lado a lado, numeradas como 0, 1, 2, 3... (e sim, elas começam no zero). Cada uma dessas casas armazena um byte na memória. Além disso, você pode se referir a cada uma dessas casas por seu endereço. Para representar o endereço de uma dessas casas, basta o número da casa, afinal de contas, só existe uma única rua neste caso.

Se você estiver em uma arquitetura de 32 bits (32 bits = 4 bytes), então a última casa da rua seria aquela de número 4.294.967.295, número esse que corresponde a **2<sup>32</sup> - 1**. Isso daí é o mesmo que 4 Gb. Assim sendo, para armazenar um endereço qualquer na memória de até 4 Gb, você vai precisar de endereços com 4 bytes.

Observe, enfim, que não importa qual é o tipo de dado que você armazena nessas casinhas, você continua precisando de um mesmo número de bytes para representar um endereço. Um ponteiro para `float` nada mais é do que algum lugar na memória de onde você quer ler ou escrever um `float`, e um ponteiro para `int` é um lugar de onde você quer ler ou escrever um `int`. Independente do que você quer escrever, as casinhas referenciadas são as mesmas e estão na mesma rua, e portanto têm endereços do mesmo tipo.

Já em arquiteturas de 64 bits, os endereços têm 8 bytes. Isso é teoricamente o suficiente para 8 [exbibytes](https://pt.wikipedia.org/wiki/Exbibyte). Mas obviamente, na prática não existe computadores com tanta memória assim e estamos muito longe de ter.