2

Na rotina que estou desenvolvendo, faço um SELECT simples no banco, apenas em uma tabela:

Model.select("id").where(:tipo => 2).find_each do |registro|
    puts registro.id
end

Mas este select retorna em torno de 160.000 registros. Aí o sistema dá o erro:

pid 258 SIGKILL (signal 9)

Se eu comentar esta linha e seguir o meu código, tudo roda normalmente. Já pesquisei sobre isso e comecei a usar a função find_each no lugar de each, mas o erro continuou. Se eu limitar a query, também funciona normalmente.

Pelo que entendi, o erro é somente por conta do volume de dados que é maior do que a memória pode suportar. Analisando http://guides.rubyonrails.org/active_record_querying.html#retrieving-multiple-objects-in-batches e https://www.webascender.com/blog/rails-tips-speeding-activerecord-queries/, observei que o find_each melhora essa situação, mas não adiantou. Como resolvo isso?

2
  • Vai na linha de comando na pasta do seu projeto Rails e digita rails console. Vai abrir um terminal parecido com o irb. Lá você roda Model.select("id").where(:tipo => 2) e vê a query SQL que está sendo gerada. Edita a pergunta inserindo essa query.
    – vinicius
    Commented 15/12/2017 às 18:18
  • Quanto vc tem de memória? Qual S.O ? Commented 19/12/2017 às 11:31

1 Resposta 1

1

Acredito que você esteja precisando do método find_in_batches. Ele quebra a sua consulta em consultas com menores intervalos de registro. Dessa maneira você não sobrecarrega sua memória com o Rails tentando mapear todas as linhas em objetos em memória.

Exemplo:

Model.select("id").where(:tipo => 2).find_in_batches do |registro|
  puts registro.id
end

Por padrão ele busca 1000 registros. Normalmente essa quantidade é tranquila mas se você tiver o mesmo problema com essa quantidade você pode customizar setando a opção batch_size.

Model.select("id").where(:tipo => 2).find_in_batches(batch_size: 500) do |registro|
  puts registro.id
end

Confere na API para mais detalhes

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .