Existe um script que faz um teste de velocidade: Benchmark Script.
Sugiro que você execute este benchmark em seu próprio servidor, no entanto, este é um resultado típico na minha configuração, para resultados de uma única linha:
PDO::FETCH_ASSOC - 936 ms
PDO::FETCH_BOTH - 948 ms
PDO::FETCH_NUM - 1,184 ms
PDO::FETCH_OBJ - 1,272 ms
PDO::FETCH_LAZY - 1,276 ms
Para grandes conjuntos de dados, esses resultados são apresentados:
PDO::FETCH_LAZY - 5,490 ms
PDO::FETCH_NUM - 8,818 ms
PDO::FETCH_ASSOC- 10,220 ms
PDO::FETCH_BOTH - 11,359 ms
PDO::FETCH_OBJ - 14,027 ms