2

Preciso ler um arquivo de 80 giga utilizando PHP para incluir em um banco de dados postgres. O arquivo é um txt com um layout de colunas.

A IDEIA SERIA NÃO DIVIDI-LO, POIS O PROCESSO FICARIA INVIÁVEL, por tanto, preciso ler o arquivo de uma só vez nem que isso demore várias horas.

O problema aqui acredito que seja a memória.

Qual a melhor forma, se é que é possivel, de ler este arquivo sem precisar aumentar a memoria? é possivel ler o arquivo em partes para que nao haja o estouro da memória? qual seria a função para isso?

2
  • 1
    Não esquecer de mudar as diretivas de configuração, o limite do tempo de execução do script no php.ini, desabilitar o safe mode, etc. Acredito que saiba disso. Commented 22/05/2019 às 12:14
  • @FabianoMonteiro sim.. já estou levando em consideração o tempo limite e o safe mode. Obrigado! Commented 22/05/2019 às 12:32

1 Resposta 1

7

Naturalmente que sim. Você não precisa armazenar todo o conteúdo do arquivo em memória se pode processar cada linha separadamente, basta ter em memória somente uma linha por vez.

$handle = fopen('arquivo.txt', 'r')

if ($handle) {
    while (!feof($handle)) {
        $row = fgets($handle);

        // Faz o que precisar com a linha do arquivo.
    }
}

A função fopen apenas define um ponteiro de leitura para o arquivo, não importando o tamanho dele; verificamos se ainda há conteúdo para ler do arquivo verificando se o ponteiro ainda não atingiu o final do arquivo; lemos uma linha por vez do arquivo com fgets.

Obviamente que se você fará uma operação no banco de dados para cada linha lida do seu arquivo o seu processo ficará demasiadamente lento devido às grandes quantidades de inserções simples que fará. Vale a pena considerar, por exemplo, fazer uma inserção no banco a cada N linhas lidas do arquivo, demandando um pouco mais de memória para armazenar as N linhas, mas deixaria a comunicação com o banco mais simples.

1
  • No Desktop (Delphi/C#) fazemos exatamente nesse formato, ainda conseguimos melhorar utilizando Threads, criamos uma para cada linha (limitamos a 100, cada uma processa e faz o que tem que ser feito). Commented 22/05/2019 às 12:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .