1

Boa Tarde

Atualmente, tenho um script em PHP que le um arquivo CSV de 6801 linhas, e realiza um INSERT enquanto houver registros. Estou conseguindo inserir atualmente 19 registros por segundo.

Além dessa rotina de INSERT que roda a cada 5 minutos, os usuário vão conectar na base de dados e etc..

Gostaria de alguma forma para aumentar a taxa de 19reg/seg e ainda fazer com que conexões simultâneas também tenham um bom desempenho.

Segue o fonte da função de leitura:

 error_reporting(0);
 date_default_timezone_set('America/Sao_Paulo');
 set_time_limit(600);
$server = "localhost";
$username = "root";
$password = "";
$database = "datab";

$conecta = mysql_connect($server, $username, $password) or print (mysql_error()); 
mysql_select_db($database, $conecta) or print(mysql_error()); 

function lerCsv(){



$handle = fopen("csv.csv", "r");
$num = 1;
$inicio = date("Y-m-d H:i:s");
Logger("Inicio da insercao -> ".$inicio);
while (!feof($handle) ) {
    $linhas = fgetcsv($handle, 0);       
    $a= $linhas[0];
    $b= $linhas[1];
    $c= $linhas[2];
    $d= $linhas[3];
    $e= $linhas[4];
    $f= $linhas[5];


    $sql = "insert into bldatant values(null, '".$a."', '".$b."','".$c."','".$d."','".$e."','".$f."');";
    if($query = mysql_query($sql)){
        Logger("Registro ".$num." inserido com sucesso.".$sql);
        $num++;

    }
    else{
        Logger("Erro ao inserir registro".$num.". Erro->".mysql_error());
    }

    $sql="update blparams set valorparam=NOW() where nomeparam='BP_LASTUPD'";
    $exc = mysql_query($sql);


}

fclose($handle);
mysql_close($conecta);
}
7
  • Coloque o código fonte, uma séria de coisas podem influenciar isso.
    – rray
    17/07/2015 às 20:02
  • @rray adicionado :) 17/07/2015 às 20:28
  • Existem uma série de ajustes que poderiam ser empregadas, uma seria fazer o insert direto ao banco eliminando o arquivo cvs, com um web service por exemplo, outra medida seria melhorar o hardware colocar um HD SSD, dar uma olhada nos status e ver o que é gargalho no seu banco e ajustar via hardware ou ajustar o arquivo de configuração do banco de dados ( tunning ) são tantas possibilidades que seria melhor você especificar que tipo de ajuste gostaria de aplicar 17/07/2015 às 20:36
  • 2
    Estude sobre como fazer operações em lotes no MySQL (bulk insert, bulk update). Basicamente você desabilita o auto-commit para a conexão atual, faz um lote de, sei lá, 100 operações por vez, e então dá um commit só. Isso agiliza bastante as coisas quando o número de inserts/updates seguidos é grande.
    – Piovezan
    17/07/2015 às 20:37
  • 1
    O auto commit serve para dar commit automaticamente após cada insert/update, ou seja, fazer a operação valer. Ao desabilitá-lo, você tem que dar commit explicitamente via código após cada lote de inserts/updates (esse lote, ou seja o que acontece entre um commit e outro, é o que se chama de transação). Feito isso você volta a habilitar o auto commit caso tenha alguma outra operação a fazer, caso contrário isso não é necessário. Ele só vale para a conexão que você está usando no momento, não interfere em outras conexões. Aprenda também o rollback, que desfaz a transação caso algo dê errado.
    – Piovezan
    17/07/2015 às 22:03

1 Resposta 1

4

Uma vez que não efectuas qualquer processamento dos dados do ficheiro, não vejo necessidade alguma para processar o ficheiro de forma sequencial.

Assim, em minha opinião, podes remover o ciclo (laço) e processar o ficheiro de uma vez com o LOAD DATA INFILE. Por exemplo:

$sql = "LOAD DATA INFILE 'csv.csv'
        INTO TABLE bldatant
        FIELDS TERMINATED BY ','
        OPTIONALLY ENCLOSED BY '\"'
        LINES TERMINATED BY '\\r\\n'
        (a, b, c, d, d, f)
        SET ID=NULL"

Tens apenas que substituir (a, b, c, d, d, f) pelos nomes das colunas da tua tabela e ID pelo nome da coluna à qual estás a atribuir o valor NULL.

Caso encontres ainda assim problemas de performance, podes alterar as definições de bulk insert. Por exemplo:

set bulk_insert_buffer_size = 1024 * 1024 * 256; 
7
  • Você dia substituir a, b, c, d, e, f pelo nome das colunas da tabela no banco e ID pela minha chave primaria?Além disso, existe alguma maneira de medir a velocidade usando o LOAD DAtA INFILE? 17/07/2015 às 21:33
  • Sim, substituir a, b, c, d, e, f pelas colunas da tabela e ID pela chave primária. Podes usar a função microtime() para medir o tempo que demora a carregar o ficheiro na totalidade.
    – bruno
    17/07/2015 às 21:35
  • Sim, uso auto increment default, de 1 em 1 17/07/2015 às 21:36
  • 1
    @LucasTorres, Para medir a performance pode usar a função microtime().
    – bruno
    17/07/2015 às 21:43
  • Bruno, esse é um exemplo de uma das linhas: 06-21-2015 00:00:30,A63510,,"-22.86771","-43.258751",0 Note que alguns dados estão entre aspas, teria algum problema? 17/07/2015 às 22:23

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .