0

estou postando essa questão aqui, mas já pesquisei no Google, no próprio StackOverflow, já testei alterando várias variáveis, desabilitando as Foreign Keys, Índices e já nem sei qual melhor forma de importar, mas eu realmente não entendo porque uma importação utilizando o LOAD DATA do MySQL está tão lenta.

Eu tenho um CSV com a estrutura abaixo contendo aproximadamente 94.000 linhas:

nome;email;empresa;cidade;estado;datanasc;ativo;grupo;

Eu quero realizar duas importações com o mesmo arquivo (duas queries). Uma para o grupo (com colunas "dummy" e contendo o nome do grupo no final) e a outra query é para importar as outras colunas e ignorar o último campo. Até aí tudo bem, os comandos acredito que estejam ok, creio mesmo que é algum problema com o arquivo, com a estrutura ou com o PC.

--- PRIMEIRA (Já chegou a rodar por 12 horas e não terminou)
LOAD DATA INFILE 'C:/caminho/arquivo.csv'
REPLACE INTO TABLE grupo FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES
    (@dummy, @dummy, @dummy, @dummy, @dummy, @dummy, @dummy, nome)
SET
    id = NULL, ativo = 1;

--- SEGUNDA (não inicia, porque não termina a primeira)
LOAD DATA INFILE 'C:/caminho/arquivo.csv'
REPLACE INTO TABLE assinante FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES
    (nome, email, empresa, cidade, estado, datanasc, ativo, @dummy)
SET
    id = NULL;

Ok, eu não tenho a melhor maquina, mas o arquivo não é tão grande, tem em torno de 8mb. Minhas configurações são Windows 64bits com 4GB RAM e MySQL 5.6;

Com arquivos pequenos funciona que é uma beleza, rapidinho.

Nas minhas configurações do my.ini deixei assim:

innodb_buffer_pool_size = 2G
innodb_log_file_size = 256M

Por favor, já não sei mais o que fazer, esse processo era pra ser rápido, não quero ter que ir linha a linha importando via PHP, sendo que esse é o processo que deveria ser mais "performático". Grato pela ajuda.

3
  • Andre encontrei essa respostas no so, veja se te ajuda: dba.stackexchange.com/a/31791
    – JcSaint
    13/10/2016 às 13:09
  • Obrigado pela resposta. Também achei este link, testei estes métodos. O problema é que a tabela é InnoDB e algumas coisas não funcionam neste tipo de tabela. O que eu consegui foi dinamicamente criar uma tabela MyISAM e importar os registros pra lá, aí sim passar para a tabela oficial (InnoDB), está extremamente rápido assim, questão de segundos, o ruim é que tenho que criar uma tabela "temporária" pra funcionar.
    – Andre
    14/10/2016 às 17:31
  • Minha maquina tem apenas 2GB de ram e eu não uso Msql para gerenciar dados CSV, mas uso um banco de dados tipo nosql que roda arquivos no formato csv diretamente.500 mb de dados podem ser gerenciados em 1 segundo (maioria das querys).Você deveria transformar o seu CSV em script de inserção.Seu arquivo de 8mb é pequeno.
    – user101090
    31/12/2017 às 23:34

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .