1

Tenho 70MIL registros para inserir numa tabela3 proveniente de tabela1 - 4 campos e tabela2 - 1 campo. O código a seguir faz exatamente o que eu preciso da forma mais otimizada que um usuário me ajudou a construir.

INSERT INTO imagens3 (ID, IMOVEL, CODIGO, IMAGEM_G, IMAGEM_P) 
SELECT t1.ID, t1.IMOVEL, t1.CODIGO, t2.IMAGEM_G, t1.IMAGEM_P 
FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 10000

Preciso inserir 10MIL por vez para conseguir chegar ao final do meu trabalho com sucesso.

Como eu consigo criar uma instrução para inserir 10MIL registros por vez através do php?

3
  • Não trabalho com php, mas você pode trabalhar com uma lista? Pois então poderia utilizar o comando IN no seu mysql, e passar parte dessa lista por blocos de execução. Obs: o comando IN aceita até 2100 registros. Espero ter ajudado. Caso contrário, comente para podermos analisar melhor.
    – WyllianNeo
    19/01/2015 às 19:21
  • 2100 registros é pouco. Isso não vai resolver meu problema. 19/01/2015 às 19:23
  • 1
    Sim, eu sei, eu tive esse mesmo problema esses dias mas em Java, e tive que fazer um for para cada 2100 registros fazer a inserção. No meu caso, valeu a pena fazer em bloco pelo desempenho, mas isso em Java, não trabalho com PHP, por isso não postei como resposta, mas talvez seja uma opção.
    – WyllianNeo
    19/01/2015 às 19:25

3 Respostas 3

3

Você pode usar os dois parâmetros permitidos na cláusula LIMIT, onde o primeiro indica a partir de que linha você quer ler (indexado em zero).

Assim, a primeira query permanece igual, resgatando até 10 mil registros na tabela de origem (imagens1) para serem inseridos na tabela de destino (imagens3):

... FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 10000

Na segunda execução, você informa dois parâmetros para o LIMIT, indicando que você quer retornar mais 10 mil registros a partir da linha 10 mil (que não foi coberta pelo INSERT anterior).

... FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 10000, 10000

Agora você já pegou a lógica; prossiga até ter resgatado e inserido as 70 mil linhas:

... FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 20000, 10000
... 
... FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 30000, 10000
... 
2
  • O problema é que esse número vai variar o tempo todo, pode ter 70, 80, 90mil, então precisava que isso fosse dinâmico. Será que consegue me ajudar mais um pouco? 19/01/2015 às 19:36
  • @MarcosVinicius Basta você escrever um loop em PHP que alterne os parâmetros do LIMIT a cada execução. Se você precisar copiar 90 mil registros, execute o loop 9 vezes alternando o primeiro parâmetro.
    – Caffé
    19/01/2015 às 19:39
3

Como já dito em outras respostas, é possível através do OFFSET:

$inicio = 0;
$limite = 10000;
$total = 70000;

$sql = "INSERT INTO imagens3 (ID, IMOVEL, CODIGO, IMAGEM_G, IMAGEM_P) "
. "SELECT t1.ID, t1.IMOVEL, t1.CODIGO, t2.IMAGEM_G, t1.IMAGEM_P "
. "FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT ";

for ($inicio; $inicio <= $total; $inicio += $limite) {
    echo $sql . "{$inicio}, {$limite}\n";
}

Veja exemplo funcionando no ideone.

3

Em PHP, independente da quantidade de registros no banco de dados:

<?
mysql_connect( ... );
$query = mysql_query("SELECT * FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID");
$num_rows = mysql_num_rows($query);

for($i = 0, $i < $num_rows; $i += 10000) {
  mysql_query(
    "INSERT INTO imagens3 (ID, IMOVEL, CODIGO, IMAGEM_G, IMAGEM_P) 
     SELECT t1.ID, t1.IMOVEL, t1.CODIGO, t2.IMAGEM_G, t1.IMAGEM_P 
     FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID LIMIT 10000 OFFSET #{i}");
}
6
  • A quantidade de imagens é dinâmica, pode me ajudar com o PHP para que ele puxe enquanto existir imagens por favor? 19/01/2015 às 19:41
  • 1
    @MarcosVinicius pronto, veja se ficou legal
    – Peoplee
    19/01/2015 às 19:46
  • Para obter o número de linhas ficou meio extenso mas vou dar uma diminuida e vou testar o código. Já te falo. 19/01/2015 às 19:51
  • 1
    Bacana a solução. @MarcosVinicius, para obter o número de linhas você pode substituir as colunas do SELECT por count(*) ou count(t1.ID). Assim: "SELECT count(*) FROM imagens1 t1 INNER JOIN imagens2 t2 ON t1.ID = t2.ID");. A query fica menor e também mais rápida.
    – Caffé
    19/01/2015 às 19:55
  • Tá dando um erro essa query: Será que é por ali aonde está o SHARP? 19/01/2015 às 20:09

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .