2

Estou construindo uma aplicação de importação que pega as linhas de um arquivo txt e faz o update em duas tabelas, funciona normalmente, o porém é que os arquivos normalmente tem mais de 5 mil linhas, e não estou conseguindo fazer a atualização de todas as tabelas com meu método atual. Como eu poderia otimizar este código?

foreach($file as $line):
            $row = explode(';', $line);

            $prodcode = $row[0];
            $prodcurrentinv = $row[3];
            $prodprice = number_format(intval($row[5]), 2, '.', '') . '00';
            $prodretailprice = $prodprice;

            $query = $pdo->prepare('UPDATE isc_products SET prodcurrentinv = :prodcurrentinv, prodretailprice = :prodretailprice, prodprice = :prodprice WHERE prodcode = :prodcode LIMIT 1');
            $query->bindParam(':prodcurrentinv', $prodcurrentinv, PDO::PARAM_STR, 11);
            $query->bindParam(':prodretailprice', $prodretailprice, PDO::PARAM_STR, 11);
            $query->bindParam(':prodprice', $prodprice, PDO::PARAM_STR, 11);
            $query->bindParam(':prodcode', $prodcode, PDO::PARAM_STR, 12);
            $query->execute();

            $query = $pdo->prepare('UPDATE isc_product_variation_combinations SET vcstock = :vcstock WHERE vcsku = :vcsku LIMIT 1');
            $query->bindParam(':vcstock', $prodcurrentinv, PDO::PARAM_STR, 11);
            $query->bindParam(':vcsku', $prodcode, PDO::PARAM_STR, 12);
            $query->execute();
        endforeach;
5
  • Não está conseguindo por que? Qual o erro?
    – uaiHebert
    Commented 14/03/2014 às 16:18
  • Nenhum erro, O problema é o desempenho dos updates, como são mais de 5 mil linhas, então o código fica rodando por uns 2 minutos até parar e acaba por não fazer o update de tudo. Commented 14/03/2014 às 16:23
  • Não há a possibilidade de usar ferramentas de ETL para essa operação? Commented 14/03/2014 às 16:34
  • Não, eu acho que precisaria unir esses dois Updates, e utilizar um método melhor para percorrer cada linha do arquivo. Commented 14/03/2014 às 16:48
  • Pra que recriar o prepared statement em cada loop? O propósito do prepared statements é justamente acelerar o processo de interpretação criando-o apenas uma vez.
    – Havenard
    Commented 14/03/2014 às 18:27

3 Respostas 3

4

Você deve considerar operações feitas em bulk (lote), como discutido nesta resposta em inglês.

Basicamente, você cria uma tabela temporária e popula ela via bulk. Feito isso, você faz um update na sua tabela fazendo um join com essa tabela temporária.

Você deve pesquisar agora como fazer operações bulk no MySQL.

Operações em bulk devem ser sempre consideradas quando a massa de dados é muito grande. É muitas vezes dessa maneira que empresas integram sistemas que geram quantidades imensa de dados.

Geralmente funciona assim: você monta um arquivo texto com os dados, onde as colunas podem ser separadas por tab, por exemplo. Feito isso, você coloca esse arquivo em algum lugar aonde o servidor de banco tenha acesso. Com comandos específicos você consegue fazer com que o banco carregue esse arquivo e insira os dados em uma tabela. Por ser específico que não conseguirei te ajudar mais do que isso. É preciso ver como funciona no MySQL.

De qualquer maneira, o conceito é geral. Tem no Oracle, SQL Server, MySQL, etc.

2
  • 1
    Modéstia sua :) Apesar de não dar os detalhes passo a passo, sua resposta apresenta a melhor solução para o problema! Tomei a liberdade de cortar os pedidos de desculpas.
    – bfavaretto
    Commented 14/03/2014 às 18:00
  • Obrigado @bfavaretto. Fico feliz de ter ajudado. Meus pedidos de desculpas foram exatamente por não postar uma solução passo-a-passo. :-)
    – cantoni
    Commented 14/03/2014 às 18:17
2

Você pode tentar atualizar vários registros por query utilizando CASE.

Por exemplo, em vez de:

UPDATE tabela SET valor = 123 WHERE indice = 1;
UPDATE tabela SET valor = 456 WHERE indice = 2;
UPDATE tabela SET valor = 789 WHERE indice = 3;

Você pode usar:

UPDATE tabela SET valor = CASE indice
    WHEN 1 THEN 123
    WHEN 2 THEN 456
    WHEN 3 THEN 789
END

Seguindo esse formato, você pode montar seu script pra fazer da seguinte forma:

// prepara os dados
foreach($file as &$line)
{
    $row = explode(';', $line);
    $line = array(
        $row[0],
        $row[3],
        number_format(intval($row[5]), 2, '.', '') . '00'
    );
}

// monta a query
$query = 'UPDATE `isc_products` SET ';

$query .= '`prodcurrentinv` = CASE `prodcode` ';
foreach ($file as $line)
    $query .= ' WHEN ' . $line[0] . ' THEN ' . $line[1];
$query .= ' END';

$query .= ', `prodprice` = `prodretailprice` = CASE `prodcode` ';
foreach ($file as $line)
    $query .= ' WHEN ' . $line[0] . " THEN '" . $line[2] . "'";
$query .= ' END';

// executa o trem
$pdo->exec($query);

// monta a outra query
$query = 'UPDATE `isc_product_variation_combinations` SET `vcstock` = CASE `vcsku` ';

foreach ($file as $line)
    $query .= ' WHEN ' . $line[0] . " THEN '" . $line[1] . "'";
$query .= ' END';

// executa o trem
$pdo->exec($query);

Observe que não é prático usar prepared statements nesse caso, então certifique-se de filtrar os dados que serão inseridos na query para evitar SQL injection.

1

Você deve mandar o banco fazer tudo isso em uma única query.

Atualmente você está utilizando foreach para executar cada linha contendo uma query. Realmente, dependendo da quantidade de execuções pode ficar lento e dar acabar resultando em um Timeout.

Uma dica geral, faça tudo que você puder em uma única query, evite fazer várias querys, quanto mais querys menor será o desempenho do seu sistema.

Mas, se mesmo assim, você acredita que ainda é necessário fazer essas 5.000 querys para as coisas funcionarem, reflita um pouco, pois pode haver algum problema na lógica do seu sistema, tente melhora-la.

Você pode também, gerar o foreach com todas as suas querys em uma variável, e executa-la somente no fim, mesmo assim não será a solução ideal.

LIMIT no foreach

Tente impor um limite no seu foreach.

$i = 0;
foreach($file as $line){
    if($i <= 100){
       // executa query
    }
    $i++
}

LIMIT

Tente usar o LIMIT, assim você pode limitar a 1.000 registros por exemplo. E executar novamente até todos os seus registros ficarem atualizados de acordo com as condições.

set_time_limit()

Você pode tentar alterar também o tempo de execução do script utilizando a função set_time_limit(). O tempo padrão de execução de um script é de 30 segundos, você pode definir como set_time_limit(0) assim você indica que não tem tempo de execução.

Referência:

8
  • Sim, O problema é que eu tenho que percorrer todas as 5mil linhas do arquivo e fazer o update na tabela isc_product_variation_combinations e isc_products aonde exista o código do produto da linha atual. Commented 14/03/2014 às 16:37
  • Atualizei, talvez o LIMIT te ajude nessa tarefa, evitando o Timeout.
    – Ricardo
    Commented 14/03/2014 às 16:42
  • Mas nesse caso eu já estou utilizando LIMIT 1, pois o update é apenas em uma linha do arquivo por laço. o que está complicando. Como eu poderia fazer UPDATE em duas tabelas na mesma query? Commented 14/03/2014 às 16:45
  • @RaphaelCastro Pois é, o problema é esse um milhão de querys, atualizei, tente usar o set_time_limit().
    – Ricardo
    Commented 14/03/2014 às 16:47
  • O Servidor já está configurado para ter um tempo longo de execução, porém acaba sobrecarregando. Commented 14/03/2014 às 16:47

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .