3

Estou desenvolvendo uma aplicação em que, em um relatório, preciso imprimir algo em torno de 50.000 linhas. Quando tendo executar o SELECT ocorre o erro:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 24 bytes) in C:\wamp\www\simplaFramework\System\Framework\Model.class.class.php on line 884.

O resultado da consulta a seguir está sendo salvo em um array pois vou tratá-lo depois:

        $data = array();
        $count = 0;
        while ($row = $q->fetch($pdo_fetch)) {                     
            $data[] = $row;                    
            ++$count;
        } 

A minha ideia era dividir o resultado em 2 ou mais arrays sempre que chegar a uma quantidade X de uso de memória. Por exemplo: quando o uso aproximar de 128mb (obtenho este valor com memory_get_usage()) divido o resultado em 2 ou mais arrays e retorno o resultado.

Mas como posso fazer isso? Devo utilizar um Buffer?

2
  • Já tento usar fetchAll() no lugar de fetch() ? Se não nenhuma condição para incrementar $count, use função count() passando como argumento o array de fetchAll().
    – rray
    Commented 27/02/2014 às 20:26
  • O problema não está no modo como recupero os dados no banco e sim ao armazenar os dado na variável: $data[] = $row;. Ela excede o tamanho em memória do PHP (128M), e preciso passar os dados para outra função antes de imprimir.
    – robertaodj
    Commented 27/02/2014 às 20:33

4 Respostas 4

3

Esse problema acontece porque normalmente o PHP usa buffered queries. Isso significa que o PHP recebe todas as linhas de resultado antes de retornar a chamada para consultas.

Para resolver o problema você deve usar unbuffered queries. Assim o PHP retorna uma linha resultado de cada vez para a aplicação processar sem ficar armazenando tudo primeiro em memória.

$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

É preciso ter alguns cuidados porque usando unbuffered queries, isso implica deixar uma transação em aberto enquanto não retornar todos resultados. Isso significa que poderá bloquear o retardar o acesso às tabelas por outras consultas paralelas.

Outra consequência é que em alguns tipos de bancos de dados pode não dar para executar outra consulta enquanto não retornar todos resultados.

Uma solução alternativa para evitar esses problemas usar unbuffered queries e salvar os resultados para um arquivo local, por exemplo em formato CSV, com as linhas de resultados até ao fim, e depois volta a ler o arquivo para processar os resultados um a um, evitando deixar a transação em aberto e liberando a conexão para executar outras consultas durante o processamento dos resultados.

1
  • 1
    Obrigado @mlemos, a sua resposta esclareceu exatamente as minhas dúvidas, apesar das demais respostas terem sido satisfatórias.
    – robertaodj
    Commented 6/03/2014 às 22:12
3

Implemente uma paginação nas queries, ou seja, colete o resultset de 1000 em 1000 linhas (por exemplo) usando a cláusula LIMIT do MySQL.

SELECT ... LIMIT 0, 1000

SELECT ... LIMIT 1000, 1000

SELECT ... LIMIT 2000, 1000

(etc.)

No meu caso, eu executaria uma primeira query só para contar o total de linhas e, em seguida, dividiria esse total pelo número de resultados por query. Daí em seguida é só falar o que sugeri acima :)

3

Não entendo muito sobre buffers no PHP, mas creio que o correto neste caso seria "soltar" o que está armazenado na array, e depois ir buscar o restante.

Acho que uma opção interessante seria o uso de ajax neste caso, uma vez que você pode ir até o servidor, buscar uma quantidade de dados que você limitar, imprimir na tela e, caso não tenha terminado a requisição completamente, retornar por ajax ao servidor e pegar mais uma quantidade de dados.

Para isso você usaria apenas uma flag, indicando se o processamento no servidor chegou ao fim ou não. Caso não tenha chegado você pede para o ajax ir até o servidor novamente e continuar da onde você parou.

Pode até mesmo usar a dica que o amigo @rodrigorigotti, dividindo o resultado da query em pedaços e depois retornando de onde parou.

3

Se puder quebrar os registros utilize paginação limit/off set como citado pelo @rodrigorigotti

caso contrario tente uma das seguintes abordagens.

Possiveis soluções

Mais rápida:

Aumentar o limite de memória do script (utilizar em casos urgentes), coloque esse código no inicio do script.

ini_set('memory_limit', '512M');

FetchAll

Mudar o código para utilizar fetchAll isso elimina o for as N atribuições. Lembre que é necessario usar preparedStaments.

$registros = $q->fetchAll();
$total = count($registros);
2
  • Agora entendi o que você quis dizer. Quando devo usar o fetchAll e o fetch?
    – robertaodj
    Commented 27/02/2014 às 20:59
  • A diferença entre eles é que fetch() retorna apenas um registro equanto fetchAll() retorna todos de uma vez só.
    – rray
    Commented 27/02/2014 às 21:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .