6

Olá, estou criando uma aplicação onde eu preciso constantemente consultar uma planilha, pegar os dados da mesma e inserir no banco de dados (MySql).

A questão é que essas planilha sempre terá no mínimo 55000 (cinquenta e cinco mil) registros

O que tenho que fazer em cada registro:

  1. Uma consulta para checar se o mesmo já existe ou não no bd
  2. Se o mesmo existir eu faço um UPDATE
  3. Se não existir eu faço um insert

Por enquanto eu estou somente checando se existe ou não no banco, e já está demorando uma eternidade, segue o código abaixo:

set_time_limit(0);

include_once '../../db/conexao.php';
include_once '../../ClassesPhpExcel/PHPExcel/IOFactory.php';
$objReader = new PHPExcel_Reader_Excel5();
$caminho = array('C:','Users','brayan','Documents','LN','estrutura_ecn.xls');
$objPHPExcel = $objReader->load(join(DIRECTORY_SEPARATOR, $caminho));
$sheetData = $objPHPExcel->getActiveSheet()->toArray(null,true,true,true);

unset($sheetData['1']);

$count = 0;

foreach ($sheetData as $value){

    try {
        $criteria = array(  'select' => 'COUNT(codigo) as codigo',
            'condition'=>'cod_produto ='.$value['A']);

        $existe = Connection::findAllByAttributes('produto', $criteria, false);

        if($existe[0]->codigo == 0){

            //insiro o registro

        }else{

            // faço o update

        }

        $count++;
    }catch (PDOException $e){
        echo $e->message."<br/>";
    }
}

Queria saber se tem alguma outra forma de fazer essas inserções e updates de maneira mais eficiente, e que não demore tanto... ?

Desde já sou grato...

1

3 Respostas 3

1

O bulk citado por cantoni (e 2 ou 3 níveis em links entrando no que ele colocou) é uma forma de fazer bem mais rápida, com um pouco de criatividade dá para fazer (só exemplo de idéia) dois arrays, um com insert e outro com update, o de insert vai direto e o do update vai numa tabela temporária e depois um update com inner join.

Se quiser, antes de tentar o bulk, pode ver se isto resolve seu problema: é possível usar instruções preparadas, que são adequadas para usar repetidamente.

Ex considerando que $connection é um objeto da classe PDO:

$stmtSel = $connection->prepare("SELECT cod FROM tab WHERE cod = :cod");
$stmtUpd = $connection->prepare("UPDATE tab SET c1 = :c1, c2 = :c2 WHERE cod = :cod");
$stmtIns = $connection->prepare("INSERT INTO tab (cod, c1, c2) VALUES (:cod, :c1, :c2)");

for ($dados as $linha){
  $filtro = array('cod' => $linha[0]);
  $stmtSel->execute($filtro);
  $existe = ($stmtSel->fetch(PDO::FETCH_ASSOC) !== FALSE);
  $stmtSel->closeCursor();
  if ($existe) {
    $valores = array(
      'c1' => $linha[1],
      'c2' => $linha[2],
      'cod' => $linha[0] 
    );
    $stmtUpd->execute($valores);
  } else {
    $valores = array(
      'cod' => $linha[0],
      'c1' => $linha[1],
      'c2' => $linha[2]
    );
    $stmtIns->execute($valores);
  }
}

Isto considerando uma tabela com campos cod, c1 e c2. Não me lembro se a ordem dos parâmetros da query deve ser seguida, portanto coloquei a variável $valores para cada caso do if. O closeCursor é para o caso de o banco de dados exigir que a consulta seja liberada antes de fazer outra.

Este modo de executar as instruções preparadas com array é o meu preferido, há quem prefira usar o bindParam.

Se o seu banco de dados fizer muito uso de índices, pode ser que não consiga melhorar muito. Em MySQL tabelas innoDB, que aceitam chaves estrangeiras, costumam ser mais lentas. Se não tiver problemas, mudar para MyISAN pode deixá-las mais rápidas, mas sem chaves estrangeiras.

Trabalhei com um sistema que tinham as chaves feitas de maneira que só funcionavam adequadamente com Oracle, SQL Server era mais ou menos e qualquer outro ficava muito lento. Não teve jeito de melhorar.

Referências no PHP: http://php.net/manual/pt_BR/pdo.prepare.php http://php.net/manual/pt_BR/pdostatement.execute.php http://php.net/manual/pt_BR/pdostatement.bindparam.php http://php.net/manual/pt_BR/pdostatement.fetch.php http://php.net/manual/pt_BR/pdostatement.closecursor.php

1
  • estou dando uma estudada no assunto antes de colocar em prática, qualquer coisa eu posto aqui se funcionou ou não, mas desde já sou grato ! vlw Commented 31/07/2015 às 20:38
0

Como num sistema de Shipment, costumamos importar tudo e depois comparar os dados. Uma sugestão que posso te dar é, crie uma tabela temporária no banco só para importar todos os dados de uma só vez, sem comparar nada, depois faz a comparação. Você pode criar uma procedure no banco de dados para rodar uma query semelhante a esta:

INSERT IGNORE INTO produto (cod_produto, campo_x, campo_y, campo_z)
SELECT TEMP.cod_produto, TEMP.campo_x, TEMP.campo_y, TEMP.campo_z
FROM    produto_importado as TEMP
LEFT OUTER JOIN produto as TABELA_ATUAL 
ON (TABELA_ATUAL.cod_produto != TEMP.cod_produto)
WHERE  TABELA_ATUAL.cod_produto != '';  

Se preferir usar Prepared Statement, também dá pra fazer, mas daí você vai ter o problema da execução do PHP, que pode travar, acredito que é só definir o tempo de execução para 0 (infinito):

ini_set('max_execution_time', 0);

$mysqli = new mysqli("localhost", "root", "senha", "seu_banco");
if ($mysqli->connect_errno) {
    echo "Erro de conexão do MySQL: (" . $mysqli->connect_errno . ") " . $mysqli->connect_error;
}

$file_path = "c:\\seu_arquivo.xls";

$SQL = "LOAD DATA INFILE :fileData 
        INSERT INTO TABLE produtos_importado
        FIELDS TERMINATED BY '\t'
        LINES TERMINATED BY '\n'
        (cod_produto, campo_x, campo_y, campo_z)";

if (!($stmt = $mysqli->prepare($SQL))) {
    echo "Prepare falhou: (" . $mysqli->errno . ") " . $mysqli->error;
}
if (!$stmt->bind_param("fileData", $file_path)) {
    echo "Parâmetro falhou: (" . $stmt->errno . ") " . $stmt->error;
}
if (!$stmt->execute()) {
    echo "Execução falhou: (" . $mysqli->errno . ") " . $mysqli->error;
}

Também da pra fazer algo como isso também para o MySQL:

Selecionar os dados para conferir:

SELECT * INTO OUTFILE "C:\\planilha.xls" 
     FIELDS TERMINATED BY '\t' 
     LINES TERMINATED BY '\n' 
FROM seu_banco.produto_export;

E pode inserir assim na tabela temporária:

LOAD DATA LOCAL INFILE "C:\\planilha.xls"
INTO TABLE produto_export
FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n' 
IGNORE 1 LINES (cod_produto, campo_x, campo_y, campo_z)

Acredito que até o próprio excel lhe permite exportar/importar, dá uma olhada aqui (não tenho certeza): http://dev.mysql.com/doc/mysql-for-excel/en/mysql-for-excel-import.html http://dev.mysql.com/doc/mysql-for-excel/en/mysql-for-excel-export.html

5
  • Olá, valeu pela ajuda, mas o SELECT OUTFILE e o LOAD DATA FILE não consegui fazer funcionar... me retorna a seguinte mensagem: Can't create/write to file. Eu então criei uma tabela "temporária", onde insiro tudo lá dentro e depois pelo banco faço o restante do que tenho que fazer, mas ainda assim está demorando cerca de, 1:20:00hrs (uma hora e vinte minutos) Commented 31/07/2015 às 20:33
  • verificou se não é permissão na pasta do arquivo? chmod 777 /var/www ou na pasta que está o arquivo. Commented 31/07/2015 às 20:37
  • sim sim verifiquei, mas continuou a mesma coisa Commented 31/07/2015 às 20:40
  • Mas melhorou alguma coisa? 55.000 é bastante dado. Principalmente quando vc tem que verificar... Commented 31/07/2015 às 20:44
  • Uma coisa que eu faria, é converter os dados da planilha em formato CSV, isso reduziria bastante o uso de memória para importar os dados... XLS é bem mais pesado. Commented 31/07/2015 às 20:48
0

Na questão de otimização (melhor maneira para inserir uma grande quantidade de dados no MySQL) acredito que você poderia trocar a engine do seu banco de dados, desde que, não precise de muitos controles de banco de dados, pois acredito que os valores que você importou serão apenas manipulados por códigos e provavelmente não serão modificados constantemente.

Tenho sistemas que rodam com 40gb (outros com 96 Gb) de dados no banco MySQL, porém pra conseguir uma otimização 'máxima' em questões de grande volumes de dados, eu modifiquei as engine para MyISAM, por possuir menos controles (não tem rollback e outras coisas) se torna mais rápida a inserção dos dados no banco pela engine, bem como a consulta, digamos que é você trocar um banco de dados (vários controles chaves estrangeiras etc, InnoDB) por trabalhar quase que puramente com arquivos.

Faz o teste, comigo foi a única solução para ter um desempenho elevado com grandes cargas.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .