0

Preciso fazer uma alteração em todas as colunas do banco de dados replicando a informação de outra coluna, por exemplo:

Model.update_all("a = b")

Gostaria de criar threads e começar a rodar, por exemplo à meia noite, e terminar 7 horas da manhã do outro dia, até terminar os registros.

Como eu poderia fazer da melhor forma?

1
  • Como parece que esse seu processo vai levar bastante tempo, o consumo de memória vai ser enorme, o ActiveRecord vai consumir muito! Já tive que resolver situações parecidas, atualizar tabelas pelo banco é muito mais negócio
    – user3603
    23/11/2016 às 13:37

1 Resposta 1

1

Para rodar uma tarefa tão custosa, você primeiro precisa decidir o que fazer caso ela não caiba na sua janela de tempo total. Precisa decidir se deveria ser cancelada integralmente, voltando ao estado anterior, suspensa e continuada na próxima janela de tempo, ou avançar até que termine.

Cada uma desses casos tem uma abordagem diferente. Uma regra boa é dividir para conquistar. Você poderia dividir o total de registros por ranges de IDs e enviá-los em grupos a uma Thread::Queue ou a um servidor Redis de onde cada thread ou processo, no caso do redis, consumiria cada lote.

Uma forma de pegar os grupos de ids, seria o Model.find_in_batches, consultando apenas os #ids. Outra forma seria criar ranges de ids para cada job, por exemplo, consultando o Model.maximum(:id) e o Model.minimum(:id) para saber a cardinalidade do seu conjunto e então dividir a quantidade pelo número de lotes que deseja criar ou pela quantidade de cada lote que deseja criar.

Além disso, para controle do fim da janela, poderia ser utilizada uma thread para monitoração, que enviaria para cada thread executora o sinal de parar.

Uma boa biblioteca de agendamento é a rufus-scheduler.

Lembre-se que, se trabalhar apenas com threads, você não conseguirá escalar em mais de um processo, por isso o redis se torna uma ferramenta interessante para comunicação de jobs e até de avisos de suspensão entre os processos envolvidos.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .