estou postando essa questão aqui, mas já pesquisei no Google, no próprio StackOverflow, já testei alterando várias variáveis, desabilitando as Foreign Keys, Índices e já nem sei qual melhor forma de importar, mas eu realmente não entendo porque uma importação utilizando o LOAD DATA do MySQL está tão lenta.
Eu tenho um CSV com a estrutura abaixo contendo aproximadamente 94.000 linhas:
nome;email;empresa;cidade;estado;datanasc;ativo;grupo;
Eu quero realizar duas importações com o mesmo arquivo (duas queries). Uma para o grupo (com colunas "dummy" e contendo o nome do grupo no final) e a outra query é para importar as outras colunas e ignorar o último campo. Até aí tudo bem, os comandos acredito que estejam ok, creio mesmo que é algum problema com o arquivo, com a estrutura ou com o PC.
--- PRIMEIRA (Já chegou a rodar por 12 horas e não terminou)
LOAD DATA INFILE 'C:/caminho/arquivo.csv'
REPLACE INTO TABLE grupo FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES
(@dummy, @dummy, @dummy, @dummy, @dummy, @dummy, @dummy, nome)
SET
id = NULL, ativo = 1;
--- SEGUNDA (não inicia, porque não termina a primeira)
LOAD DATA INFILE 'C:/caminho/arquivo.csv'
REPLACE INTO TABLE assinante FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES
(nome, email, empresa, cidade, estado, datanasc, ativo, @dummy)
SET
id = NULL;
Ok, eu não tenho a melhor maquina, mas o arquivo não é tão grande, tem em torno de 8mb. Minhas configurações são Windows 64bits com 4GB RAM e MySQL 5.6;
Com arquivos pequenos funciona que é uma beleza, rapidinho.
Nas minhas configurações do my.ini deixei assim:
innodb_buffer_pool_size = 2G
innodb_log_file_size = 256M
Por favor, já não sei mais o que fazer, esse processo era pra ser rápido, não quero ter que ir linha a linha importando via PHP, sendo que esse é o processo que deveria ser mais "performático". Grato pela ajuda.