0

Sou programador e raramente uso banco de dados, me deparei com uma situação inusitada de converter vários arquivos .DBF e salvar tudo no banco em suas respectivas tabelas, porém alguns arquivos ultrapassam mais de 3 milhões de registros, como programador eu tentei trabalhar usando um código que pegava respectivamente cada registro de uma coluna da tabela A e comparava com cada uma de uma coluna da tabela B e dizia quantas existiam na tabela B, porém o software trava por causa dessa absurda quantidade, procurei no Google e achei um cara notável chamado "JOIN", isso me ajudaria nesse meu problema? São 3 milhões na tabela A e mais 3 milhões na tabela B, preciso automatizar isso usando o banco Oracle, preciso de uma consulta que automatize isso. Alguém sabe? (Isso é mau de programador que mau usa banco, me desculpem)

1 Resposta 1

1

Entendo. O JOIN não vai ser muito diferente da consulta de comparação que você fez antes não, provavelmente irá travar do mesmo jeito, mas uma solução é você limitar a quantidade de registros na comparação até um limite de 10 mil registros por exemplo ou até um ID x. Após processar essa quantidade você aguarda uns 2 minutos e manda processar mais 10 mil registros e assim por diante entende? É possível fazer isso via programação "mandando o sistema dormir" por estes dois minutos antes de começar a processar novamente. Use uma linguagem funcional pra fazer isso que não vai travar não. Se usar Elixir/Erlang poderá processar os três milhões de uma vez só.

Neste exemplo criei mil processos, mas pode criar 3 milhões tranquilamente:

https://gist.github.com/tiagodavi/65972bf781ac6130d5d4

$ elixir --erl "+P 3000000" -r chain.exs -e "Chain.run(3_000_000)"
2
  • Pensei em fazer dessa maneira, dividir os dados em partes, mas só para confirmar, o JOIN limitado a uma quantidade razoável de registros (para não travar) daria certo pelo o que estou pedindo? Como eu disse, não sou lá essas coisas em Banco, o JOIN estou conhecendo faz pouco tempo...
    – Vinithius
    Commented 26/10/2015 às 23:58
  • 1
    Creio que sim porque você estará consultando os registros aos poucos. Experimente fazer isso.
    – Tiago Davi
    Commented 27/10/2015 às 12:47

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .