Está um pouco confuso. Você precisa aprender e usar o termos corretos para sabermos direito o que você está falando.
Em computador rodando em arquitetura 32 bits terá um endereço de 32 bits. Note que computadores com 64 bits podem rodar neste modo de endereçamento. Com 32 bits você pode acessar até 4GB de memória que é 2 elevado a 32. Quando não precisa acessar todo o espaço de endereçamento que a arquitetura permite usa-se apenas o que é necessário para economizar espaço já que cada endereço utilizado, e muitos são utilizados em uma aplicação grande, ocupa a quantidade de bytes do seu tamanho.
Muitas vezes usamos o termo "tamanho da palavra" para indicar que o tamanho do que você chama endereço de memória. A palavra é o tamanho do registrador do processador. É comum a palavra ser do mesmo tamanho do registrador, mas não é obrigatório.
Cada byte tem 8 bits, então para representar um endereço de memória precisaria de 32 bits.
Normalmente um inteiro costuma ter o tamanho da palavra do processador, portanto equivale ao tamanho do endereço de memória.
Se você diz que separou em 4 endereços (o termo parece estar errado), talvez ele tenha separado em 4 bytes. Talvez tenha separado em 4 bytes em formato hexadecimal. Se realmente existem 4 valores inteiros, cada um com 4 bytes, precisa descobrir o que está mostrando, deve haver um motivo, se está mostrando isto.
Mas objetivamente sua pergunta está respondida: em espaço de endereçamento de 32 bits o tamanho do endereço é 4 bytes. Assim como em espaço de endereçamento de 64 bits é 8 bytes, em espaço de endereçamento de 16 bits é 2 *bytes e em espaço de endereçamento de 8 bits é 1 byte.