13

Em meu projeto preciso desenvolver um sistema de transações onde o usuário vai colocar credito e o serviços que ele contratou irá consumir esses créditos.

Construí a seguinte estrutura mas não sei se é o melhor jeito a ser fazer:

Usuario
id | Nome

Transacoes
id | usuario_id | valor | data

Quando o usuário inserir créditos irei alimentar a tabela transacoes; quando houver um débito automático pelo uso dos serviços irei alimentar a tabela transacoes com valores negativos (por exemplo, -12 de valor mensal); quando eu fosse gerar o caixa (saldo) do usuário irei contabilizar todos os valores pra chegar no saldo atual.

O problema que encontrei é que à medida que essa tabela cresce, a performance pra gerar o saldo irá diminuir.

Enfim, não consigo pensar em uma estrutura pra abranger sem estresse essa regra de negócio :(

5
  • 2
    Na tabela usuario eu tenho um campo de saldo, que é atualizado a cada vez que insiro, atualizo ou deleto um registro na tabela de transacoes. Se você utilizar uma transaction do banco de dados para fazer ambas atualizações você impede que os valores saiam de sincronia. 27/11/2014 às 15:22
  • Outra opção é colocar uma coluna saldo na tabela de transações. Vai parecer redundante mas isso vai te ajudar no futuro a tirar extratos de periodos passados. 27/11/2014 às 15:25
  • 3
    Em duas outras respostas eu mostro um padrão que já utilizei com sucesso para representar transações e saldos. No caso meu problema era outro, mas se você está preocupado com a tabela de transações crescer demais (dica: você não tem certeza ainda se a performance vai mesmo sofrer ou não, cuidado com as otimizações prematuras) essa separação entre transações e saldos permitiria que você movesse transações passadas (digamos, de 1 ano atrás) para um "arquivo morto" sem comprometer a integridade dos seus dados.
    – mgibsonbr
    27/11/2014 às 15:26
  • As duas respostas que o @mgibsonbr citou são ótimas: leia! 27/11/2014 às 15:37
  • ainda, poderia trabalhar as transações num ambiente de Big Data, ou, particionar a tabela (com um filtro para o arquivo morto), criar uma view materializada, etc.
    – irobson
    27/11/2014 às 16:10

4 Respostas 4

8
+200

Digamos que construir o saldo a partir da leitura de todas as transações seja de fato uma constraint para a performance (você ainda não sabe, mas digamos que já saiba), você pode criar uma tabela para manter o saldo (um registro apenas para cada usuário):

Usuário
id | Nome

Transação
id | usuario_id | valor | data

Usuário_Saldo
id | usuario_id | saldo_atual

A cada transação (crédito ou débito na tabela Transação), você atualiza o saldo do usuário na tabela Usuário_Saldo, assim você terá que ler um único registro quando quiser consultar o saldo de um usuário.

Até aí, óbvio. O cuidado que você precisa ter é garantir a integridade dos dados. Se você primeiro criar o registro na tabela Transação, quando for calcular o saldo ele pode já ter sido alterado por uma outra Transação de crédito ou débito.

Então você precisa primeiro atualizar o saldo, para daí lançar a transação de crédito ou débito. É claro que estes dois comandos devem ser uma operação atômica, ou seja, devem estar dentro de uma mesma transação de banco de dados. Assim:

-- abre transação de banco de dados
UPDATE Usuário_Saldo
SET saldo_atual = saldo_atual + @valor_transação
WHERE usuario_id = @usuario_id;

INSERT INTO Transação (usuario_id, valor, data)
VALUES (@usuario_id, @valor_transação, @data)
-- commita transação

Se o sistema enviar "ao mesmo tempo" duas transações de crédito ou débito, a segunda terá que esperar a primeira ser concluída pois o registro em Usuário_Saldo estará bloqueado.

Update: e se eu quiser garantir que não seja feito um débito maior do que o saldo disponível?

A solução descrita acima garante a integridade do saldo sem precisar se preocupar com o nível de isolamento das transações. Mas se eu adicionar um SELECT antes de atualizar o saldo a fim de primeiro verificar se há saldo disponível para um novo débito, eu quebraria a solução pois o select poderia ler uma versão anterior do saldo, ou uma versão ainda não commitada, dependendo do nível de isolamento da transação.

Nesta solução, então, verifica-se o saldo disponível por último, provocando um rollback caso a operação tenha resultado em um saldo negativo. Basta adicionar um select de verificação do saldo antes do final da transação. A solução completa fica assim:

-- abre a transação de banco de dados

-- atualiza o saldo
UPDATE Usuário_Saldo
SET saldo_atual = saldo_atual + @valor_transação
WHERE usuario_id = @usuario_id;

-- registra a operação de débito/crédito
INSERT INTO Transação (usuario_id, valor, data)
VALUES (@usuario_id, @valor_transação, @data);

-- verifica se a operação resultou em um saldo negativo
SELECT saldo_atual
FROM Usuário_Saldo
WHERE usuario_id = @usuario_id

-- se saldo_atual < 0, faz rollback
-- senão, commita a transação

Esta é uma solução simples por não se preocupar com nível de isolamento da transação (o qual depende de configurações no banco de dados ou de diretivas adicionais ao executar os comandos SQL); e é performática por permitir o nível de isolamento mais baixo, pois quanto maior é o nível de isolamento, mais recursos são utilizados pelo servidor de banco de dados e menor é a capacidade de concorrência nas operações de consulta.

Soluções mais complexas podem emergir dependendo de necessidades específicas. Por exemplo: se proceder toda a operação antes de saber que o saldo era insuficiente acarrete em um custo alto demais, eu posso fazer uma verificação prévia do saldo e nem disparar a atualização caso ele seja insuficiente - isso diminui as ocorrências de tentar débitos que não serão concluídos com sucesso. É claro que eu não vou me basear nesta verificação prévia para garantir meu saldo - a verificação final que determina se a transação pode ser commitada permanece.

Obs 1: Estes comandos estão considerando Id auto-incremento nas tabelas. Obs 2: O "@" está simbolizando os valores passados por parâmetro à query. Obs 3: Este código considera que Usuário_Saldo já tem um registro para cada usuário, mas você pode ter variações disso.

12
  • 1
    É uma abordagem interessante, +1. Só fico meio na dúvida se o registro fica mesmo bloqueado, ou se isso depende do nível de isolamento e/ou lock do banco (não tenho muita experiência nessa área). Esse artigo na Wikipedia por exemplo sugere - se eu entendi bem - que no nível "read uncommited" a segunda transação não estaria bloqueada - e poderia escrever um valor incorreto caso a primeira sofresse rollback. Isso está certo?
    – mgibsonbr
    27/11/2014 às 22:32
  • 2
    Fica bloqueado sim, @mgibsonbr, independentemente do nível de isolamento. O isolation level determina como um registro transacionado pode ser lido mas não determina como ele pode ser alterado. Em um RDBMS com controle de transação só existe um meio de se alterar um registro: ele não pode estar sendo alterado por uma outra transação pendente. Repare que se eu fizesse select saldo_atual para daí fazer update...saldo_atual = @saldo_atual + @valor_transacao daí sim eu estaria em maus lençóis, pois o SELECT bem poderia selecionar um valor "sujo" dependendo do nível de isolamento da transação.
    – Caffé
    28/11/2014 às 3:32
  • 1
    @mgibsonbr Acabei de ler o artigo da wikipedia que você referenciou. Este artigo comete um erro sério ao dizer que "se um lock é liberado imediatamente após o comando [insert, update, delete], os dados modificados podem ser alterados por outra transação antes desta transação ser commitada". Este não é o comportamento previsto pela ISO e nenhum SGBD respeitável se comporta assim. O isolation level determina apenas como os registros lidos por esta transação podem ser modificados por outra transação, e determina como esta transação vai ler os registros modificados por outra.
    – Caffé
    1/12/2014 às 15:24
  • 2
    Eu adicionaria a seguinte condição no WHERE do UPDATE: saldo_atual + @valor_transação >= 0. Se o @@ROWCOUNT < 1 já faço o rollback 2/12/2014 às 17:54
  • 2
    @AkiraYamamoto Ótima opção também. +1 no seu comment :-) A vantagem do SELECT é que em um único comando você identifica que ficou negativo e pode inferir quanto estava diponível, de modo a ter uma informação do tipo "Não foi possível debitar @valor_transação porque o saldo disponível é saldo_atual + (@valor_transação * -1)". Outra opção é fazer este SELECT logo após o UPDATE evitando assim o custo do INSERT.
    – Caffé
    2/12/2014 às 18:03
4

Existem várias abordagens, depende muito do cenário que você está pensando, do investimento em hardware/software e a velocidade que você quer alcançar.

O modelo de registro de transações que você descreveu não é ruim. Existem muitos sistemas hoje baseados nele. Ele se chama Event Sourcing. http://msdn.microsoft.com/en-us/library/dn589792.aspx

O Event Sourcing é uma técnica que você vai salvando os eventos um a um desde o primeiro, e para saber o resultado atual (o saldo por exemplo), você vai somando registro por registro.

Existe uma vantagem grande nele: em bancos de dados relacionais, você tem um tempo de resposta muito reduzido para inserir novos registros e pode aumentar muito a capacidade de paralelização do sistema acrescentando novo hardware/software. Também existem técnicas para você materializar uma versão do saldo corrente e acelerar o processo de consulta do saldo. Isto é muito importante, porque provavelmente vai existir um limite ao qual a pessoa não poderá ser debitada se ela não possuir um valor mínimo (o que vai precisar fazer uma consulta do saldo e, para isso, construir todo o histórico desde o 0 se não houver uma materialização destas consultas).

Mesmo assim, se você está lidando com valores monetários, pode não ser legal usar o Event Sourcing. É interessante você dar um lock num registro de saldo quando você iniciar uma transação para diminuir o saldo. Se o processamento for paralelo, seu sistema pode ter que lidar muito com a concorrência e, ou perder informações (tentar diminuir o saldo enquanto alguém já está diminuindo) ou problemas de integridade.

É importante ter um registro histórico sim, mas ter uma tabela de saldo é importante para realizar o lock. Portanto baseie suas consultas na tabela de saldo.

Já ao salvar as transações, elas são frequentemente consultadas? Você precisa realmente ter um id nelas? Lembre que o id são também uma constraint, fazendo com que o banco de dados precise verificar a integridade de cada informação inserida. As vezes vale mais a pena ter uma tabela sem chave primária, apenas indexada de uma forma simples, do que ter uma chave que diminua a velocidade das inserções. Mas vale a pena ressaltar que isso vale quando as consultas não são muito frequentes.

Para diminuir essa consulta, o que vale é dar restrições para os usuários. Vale a pena particionar as tabelas em históricos. O SQL server permite particionar as tabelas a partir dos dados de uma coluna. Logicamente falando é uma tabela só. Fisicamente falando são arquivos distintos. Você poderia fazer uma partição a cada 3 meses de histórico e, se o usuário quiser consultar mais, ele precisa agendar em um processamento batch ( o que consumirá mais recursos do banco, mas com certeza irá acelerar suas consultas pelo histórico mais atual). Daí você pode indexar somente as transações recentes, as outras ficam lá sem muita necessidade de consumir recursos do banco.

Na hora de realizar as operações de atualizar o saldo, dê um lock no registro de saldo. Isso vai garantir que a operação seja atômica e, ao inserir na tabela histórico, fica bem mais rápido. Quando realizar esta transação, tenha certeza de dar um lock nos registros corretos, não deixando o banco dar um lock em uma região grande da tabela.

Minha sugestão então é igual a do @Caffé, com a modificação do id da transação:

 Usuario
 id | Nome 

 Transacoes
 data | usuario_id | valor (sem pk)

 Usuário_Saldo
 id | usuario_id | saldo_atual
2

Eu li excelentes respostas. Apenas para mostrar uma outra abordagem eu gostaria de sugerir o seguinte:

Eu modelaria desta forma:

Usuário
id | Nome

Transação
id | usuario_id | valor | data | data_processamento

Consolidado
competencia | usuario_id | saldo_atual

O quê muda? Eu acho mais interessante trabalhar numa solução estilo fluxo de caixa: Tenho um saldo atual, entradas e saídas. Ai a cada uma dia qualquer do mês eu executaria uma rotina que iria consolidar o saldo do mês corrente.

Além disso, incluí um campo data_processamento na entidade Transação onde seria possível saber quando de fato tal transação foi consolidada.

Com a abordagem acima eu consigo os seguintes benefícios:

  • Uma massa de dados menor para trabalhar, pois eu trabalharia apenas com informações de 1 mês.
  • É bem mais fácil olhar o passado, pois nada será perdido.
  • Se o tamanho do banco de dados for um problema seria simples criar uma rotina para arquivar valores muito antigos (tipo com 5 anos)
  • Como o consolidado seria responsabilidade de um job, não seria muito difícil fazer o controle de transações.

Agora como nem tudo são flores, acho que algumas desvantagens seriam

  • Sua lógica ficaria um pouco mais complexa (Falo isso imaginando um sistema básico, não sei do que se trata exatamente o seu sistema)
  • Posso aproveitar o parentese acima para complementar que é provável que esta solução não seja exatamente o que você procura.

Bem, espero que ajude.

2
  • +1 Em um sistema que desenvolvi eu separava aquilo que foi provisionado (ex.: se eu passei um cheque, pra todos os efeitos eu não tenho mais aquele dinheiro) daquilo que foi registrado durante a conciliação bancária (ex.: o cheque foi descontado/compensado, e isso apareceu no meu extrato). Desse modo, os usuários "normais" apenas registravam transações (mexendo somente numa tabela) e um usuário "especial" era o único que mexia na tabela de saldos - pois a mesma só era atualizada quando havia um relatório bancário anexado, comprovando o saldo. E sim, a lógica era um tantinho mais complexa... :P
    – mgibsonbr
    2/12/2014 às 19:05
  • @mgibsonbr Mas não tem pra onde correr não cara: A complicação vai aparecer de algum lado. Eu prefiro deixar o modelo de dados simples e trazer a complexidade para o meu sistema. Claro que minha solução é muito genérica, não posso garantir que vai atender bem ao problema como um todo. 2/12/2014 às 19:13
1

Em transação você pode colocar valor acumulado que sempre será o valor acumulado anterior + valor atual, sendo que o primeiro valor acumulado é o próprio primeiro valor. Na hora que você acessar o saldo, você acessa o último valor acumulado sem precisar fazer operações.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .