Obrigado @guilerme-nascimento.
Consegui instalar da seguinte forma (lembrando que uso o CentOs 6.6):
Baixar o PHP
$ wget https://www.php.net/get/php-5.6.10.tar.gz/from/this/mirror
Descompactar e mudar para a pasta descompactada
$ tar -xzf php-5.6.10.tar.gz
$ cd php-5.6.10
Executar o comando configure com os parâmetros desejados (abaixo meu exemplo)
./configure
--prefix=/usr
--sysconfdir=/etc
--localstatedir=/var
--datadir=/usr/share/php
--mandir=/usr/share/man
--with-config-file-path=/etc
--with-config-file-scan-dir=/etc/php.d
--with-zlib
--enable-bcmath
--with-bz2
--enable-calendar
--with-gdbm
--with-gmp
--enable-ftp
--with-gettext
--enable-mbstring
--with-readline
--with-apxs2
--with-pdo-oci=instantclient,/usr,12.1
--enable-dba=shared
--with-pdo-mysql --with-mysql-sock=/var/mysql/mysql.sock
--with-pdo-pgsql
OBS: Durante esse passo podem ocorrer erros, devido à dependências que precisam ser instaladas antes, como o db4 e db4-devel. No meu caso, fui executando o comando, vendo qual dependência estava dando erro. Depois de identificado, instalava a dependência (sempre instalando também a versão devel de cada pacote) e executava novamente para ver a próxima dependência que faltava. Fiz isso até o comando rodar sem erros.
Compilando e instalando
$ make && make install
Neste ponto, o PHP já está instalado.
Para se certificar, rode o seguinte comando:
$ php -v
Mas antes de concluír, precisamos fazer alguns ajustes...
Copiar o php.ini para o diretório correto
Caso esteja em um servidor local
$ cp php.ini-development /etc/php.ini
Caso esteja em um servidor de produção
$ cp php.ini-production /etc/php.ini
Abrir arquivo de configuração do apache para edição
$ vi /etc/httpd/conf/httpd.conf
Acrescentar as linhas abaixo para o Apache interpretar o PHP
AddType application/x-httpd-php .php
AddType application/x-httpd-php-source .phps
Salve e reinicie o Apache
$ service httpd restart
Pronto! Agora já deve estar tudo funcionando corretamente!
A desvantagem deste método (pelo menos até onde notei) é que, sempre que precisar algum módulo como o PDO_MYSQL, PDO_PGSQL etc, não poderá instalar via pacote, pois não irá funcionar.
Para instalar alguns, pode ser via PECL, exceto os que estão desatualizados, como o PDO_MYSQL e PDO_OCI, onde deve-se compilar o php novamente para instalar estes.