2

Preciso de uma precisão de 7 casas em um determinado cálculo com divisão, porém quando o divisor é muito pequeno, gera um número extenso. Quando tento dar o cast, dá numeric overflow, mesmo o número "cabendo" no cast. O sql é o seguinte:

select
   cast(2012 as numeric(18,7))
  ,cast(0.01 as numeric(18,7))
  ,cast(2012 as numeric(18,7)) / cast(0.01 as numeric(18,7)) VALOR
from ...

Os dois primeiros campos geram corretamente, mas se fizer a divisão retorna o erro. O resultado da divisão seria 201.200.00, que cabe no numeric(18,7).

Testei dessa forma:

select
   cast(2012 as numeric(18,7))
  ,cast(0.01 as numeric(18,7))
  ,cast(2012 as numeric(18,7)) / cast(0.01 as numeric(18,6)) VALOR
from ...

Se der o segundo cast com 18,6, funciona, mas em outros cálculos da mesma tabela vou perder 1 dígito de precisão.

Estou utilizando Firebird 2.5

2 Respostas 2

1

Seu problema é comum ao lidar com esse tipo de dado. Acontece que o resultado de uma multiplicação Numeric(18,7) * Numeric(18,7) é maior que o tipo Numeric pode aceitar. Numa multiplicação Numeric(a,b) * Numeric(a,b) o resultado é um tipo Numeric(a,b+b). No seu caso isso quer dizer que o resultado é o abaixo que você pode ver que é impossível ser executado:

SELECT
  cast( 2012/0.01 as numeric(18,14)) 
FROM rdb$database

Nestes casos, muitas vezes o melhor é trocar a ordem das operações ou converter para DOUBLE PRECISION antes de fazer a operação e converter novamente para o tipo desejado no final. Exemplo:

SELECT
  CAST(CAST(CAST(2012 AS NUMERIC(18,7)) AS DOUBLE PRECISION) / CAST(CAST(0.01 AS NUMERIC(18,6)) AS DOUBLE PRECISION) AS NUMERIC(18,6)) AS valor
FROM rdb$database

Isso não causaria maiores problemas para perder precisão:

SELECT
   CAST(1 AS NUMERIC(18,6)) / CAST(3 AS NUMERIC(18,6))
   ,CAST(CAST(CAST(1 AS NUMERIC(18,7)) AS DOUBLE PRECISION) / CAST(CAST(3 AS NUMERIC(18,6)) AS DOUBLE PRECISION) AS NUMERIC(18,6))
FROM rdb$database

Atualização: Os seguintes links podem ajudar a entender mais sobre esse problema:

http://www.firebirdfaq.org/faq79/

http://www.firebase.com.br/artigo.php?id=104

2
  • Pefeito, dei o cast para double precision na execução do cálculo e de volta parar Numeric(18,7) depois, ficou certinho. Obrigado!
    – Vinicius
    23/03/2016 às 20:54
  • @Vinicius que bom que ajudou. Apenas garanta fazer os testes necessários. Essa parte de precisão é sempre complicada.
    – EMBarbosa
    24/03/2016 às 13:17
1

Em literais Firebird com um ponto decimal são do tipo NUMERIC , não DOUBLE PRECISION (ou outro tipo de ponto flutuante). Isso significa que ele irá aplicar as suas regras de cálculo numéricos exatos.

Assim, com select 187/60.00 from rdb$database isso significa que 187 é um INTEGER e 60,00 é um NUMERIC(18,2)

Se dois operandos OP1 e OP2 são numérico exato com escala S1 e S2, respectivamente, em seguida, OP1 + OP2 e OP1-OP2 são numérico exato com precisão de 18 e dimensionar o maior de S1 e S2, enquanto OP1 * OP2 e OP1 / OP2 são numérico exato com precisão 18 e S1 escala + S2. (As escalas destes operação, exceto divisão são especificados pelo padrão SQL A norma faz a precisão de todas estas operações, ea escala de Divison, definida implementação em:. Definimos a precisão de 18 anos, e a escala de divisão como S1 + S2, o mesmo que é exigido pela norma, no caso da multiplicação.)

Quando um dos operandos é um tipo integral, ele é considerado como um numérico com escala 0. Portanto, neste caso você tem NUMERIC(18,0)/NUMERIC(18,2) e com base nas regras acima, o resultado é NUMERIC(18, 0+2) = NUMERIC(18,2) .

O facto de o número parece estar truncada é um resultado da aplicação de cálculo numérico exacta: o cálculo pára quando o último digito foi calculada. O fato de que há um resto não tem qualquer influência sobre o resultado do cálculo:

60.00 / 187 \ 3.11 180 --- 70 60 -- 100 60 -- (stop) 40 

Olhando para o SQL: 2011 especificação Fundação o fato de Firebird considera 60.00 para ser um numérico exato é correta, já que tem as seguintes regras de produção para literais na secção 5.3 :

<literal> ::=
    <signed numeric literal>
  | <general literal>

<unsigned literal> ::=
    <unsigned numeric literal>
  | <general literal>

<signed numeric literal> ::=
    [ <sign> ] <unsigned numeric literal>

<unsigned numeric literal> ::=
    <exact numeric literal>
  | <approximate numeric literal>

<exact numeric literal> ::=
    <unsigned integer> [ <period> [ <unsigned integer> ] ]
  | <period> <unsigned integer>

<sign> ::=
    <plus sign>
  | <minus sign>

<approximate numeric literal> ::=
    <mantissa> E <exponent>

<mantissa> ::=
    <exact numeric literal>

<exponent> ::=
    <signed integer>

<signed integer> ::=
    [ <sign> ] <unsigned integer>

<unsigned integer> ::=
    <digit>...

E regras de sintaxe:

21) Um sem tem um implícita após a última . 22) O tipo declarado de uma ENL é um tipo numérico exato definido pela implementação cuja escala é o número de s à direita do . Haverá um tipo numérico exato capaz de representar o valor de ENL exatamente.

Seção 6.27 especifica as seguintes regras de sintaxe:

1) Se o tipo declarado de ambos os operandos de um operador aritmético dyadic é numérico exato, em seguida, o tipo declarado do resultado é um tipo numérico exato definido pela implementação, com precisão e escala determinada da seguinte forma: a) Seja S1 e S2 ser a escala do primeiro e segundo operandos respectivamente. b) A precisão do resultado da adição e subtração é definido pela implementação, ea escala é o máximo de S1 e S2. c) A precisão do resultado da multiplicação é definido pela implementação, ea escala é S1 + S2. d) A precisão ea escala do resultado da divisão é definido pela implementação. Em outras palavras, o comportamento do Firebird está em conformidade com o padrão SQL. Ao que parece a maioria do outro banco de dados que você tentou (com a possível exceção do SQL Server), use um valor relativamente grande para a escala quando se realiza divisão, ou parecem usar o comportamento aproximado numérico (aka precisão dupla).

Uma solução alternativa seria usar um literal numérico aproximado. Uso de expoente zero ou E0 fará com que o número de precisão dupla, sem poderes de dez. Por exemplo:

select 187E0/60.00 from rdb$database; -- result: 3.116666666666667
    -- or 
select 187/60.00E0 from rdb$database; -- result: 3.116666666666667

stackoverflow Gringo

3
  • boa ideia, mas o problema continua...
    – Vinicius
    11/03/2016 às 16:43
  • Já tentou dividir sem o cast? 11/03/2016 às 17:05
  • Sim, perde a precisão. Se implementar por exemplo cast(1.00 / 3.00 as numeric(18,7)) vai resultar em 0.3333000.
    – Vinicius
    11/03/2016 às 17:51

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .