1

Estou precisando realizar uma função em um projeto Spring e Hibernate, ao qual devo atualizar algumas informações de todos os registros da minha tabela. A ideia é carregar os registros para a aplicação, processar os dados com base em alguns valores desses registros e depois persisistir toda essa massa de dados.

Os valores a serem atualizados são diferentes para cada registro, e dependem dos dados ja persistidos em cada um.

A tabela contém uns 200 mil registros, e gostaria de saber qual a melhor estratégia para que eu consiga realizar essa carga, processamento e persistencia de dados sem que isso gere gargalos na minha aplicação e banco.

2
  • Você precisa mesmo carregar os cados para a aplicação, processar nela e fazer a atualização? Não daria, por exemplo, para ter uma procedure que faz esta atualização, no máximo sendo chamada pela aplicação? Commented 3/07/2018 às 17:36
  • Nesse caso não, devido a regra de negócio que devo executar nessa atualização, o que geraria uma query muito complexa. Precisarei usar relações, operações com data, splits, interações...
    – Pedro
    Commented 3/07/2018 às 18:21

3 Respostas 3

4

O Spring tem uma ferramenta adequada para isto, chamada Spring Batch.

Em uma tradução livre:

Muitas aplicações no ambiente corporativo exigem processamento de dados em massa para realizar operações de negócios em ambientes de missão crítica. Essas operações incluem o processamento automatizado e complexo de grandes volumes de informações processadas na maioria das vezes sem a interação do usuário. Essas operações normalmente incluem aquelas baseadas em eventos (por exemplo, cálculos de fim de mês, avisos, etc), aplicação periódica de regras de negócios complexas processadas repetidamente em cima de um grande volume de dados (por exemplo, determinação de benefícios de seguro, promoções personalizadas) de sistemas internos e externos que, normalmente, requerem formatação, validação e processamento de registros.

Recentemente utilizamos esta ferramenta em um projeto para fazer a migração de dados de um sistema para outro. Carregamos um grande volume de dados por meio de arquivos de dados exportados do banco antigo e realizamos diversos processamentos em cima deles: corrigindo informações, vendo quais informações já existem no banco, pegando imagens de um diretório e movendo para outro, inserindo as informações no banco de dados atual, salvando em um arquivo de log os registros problemáticos, etc.

A princípio ela pode assustar, mas é bem simples de usar.

1
  • 1
    Me assustou. Acho que só vou ficar sossegado com ele ao utilizar, ao construir uma aplicação com ele Commented 4/07/2018 às 0:54
0

Uma outra estrategia seria vc trazer esses dados paginados pra memoria(trazer os dados para o java, para fazer toda a tratativa), depois atualizar eles e logo em seguida fazer um insert em lote em outra tabela. E a tabela antiga vc pode fazer o drop. Esse processo é mais rápido que um update no banco. Caso vc queira fazer esse processo eu recomendo fazer um backup da tabela que será excluída. Caso vc não queira mexer com uma linguagem de programação, existe ferramentas de tratamentos de dados tipo o PENTAHO (Ele faz muito mais coisas que tratamentos de dados). Espero que ajude. :)

-1

Nesse caso quando tem muitos registros para mostrar na tela, você pode utilizar a paginação que tem o controle de quantos você quer mostrar em um GET Exemplo de uma aplicação que fiz:

No controller:

@RequestMapping(value = "/page", method = RequestMethod.GET)

    public ResponseEntity<Page<CategoriaDTO>> findAll(
            @RequestParam(value="page", defaultValue="0") Integer page,`insira o código aqui`
            @RequestParam(value="linesPerPAge", defaultValue="24") Integer linesPerPAge,
            @RequestParam(value="orderBy", defaultValue="nome") String orderBy,
            @RequestParam(value="direction", defaultValue="ASC") String direction) {
        Page<Categoria> list = service.findPage(page, linesPerPAge, orderBy, direction);
        Page<CategoriaDTO> listDTO = list.map(obj -> new CategoriaDTO(obj));

        return ResponseEntity.ok().body(listDTO);
    }

Na Service:

public Page<Categoria> findPage(Integer page, Integer linesPerPAge, String orderBy, String direction){

        PageRequest pageRequest = PageRequest.of(page, linesPerPAge, Direction.valueOf(direction), orderBy);
        return repo.findAll(pageRequest);
    } 

No Repository não é preciso ser feito nada!

1
  • Você fala de carregamento em tela, mas o foco da questão é persistência em batch. A ideia do carregamento do AP (em suas palavras) é permitir um processamento dos dados do lado da aplicação, não do SGBD. Então, o que sua resposta acrescenta ao problema fornecido, ou a seu contexto? Commented 1/08/2018 às 9:44

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .