8

Assumindo o seguinte:

>>> square = '²'      # Superscript Two (Unicode U+00B2)
>>> cube  = '³'       # Superscript Three (Unicode U+00B3)

Curiosamente...

>>> square.isdigit()
True
>>> cube.isdigit()
True

Tá bom, vamos converter esses "dígitos" para um inteiro:

>>> int(square)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: invalid literal for int() with base 10: '²'
>>> int(cube)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: invalid literal for int() with base 10: '³'

Oooops!

Alguém poderia me explicar exatamente qual o é comportamento exato do método str.isdigit() ao testar strings?

2 Respostas 2

7

Segundo a documentação, isdigit considera "dígito" uma ampla gama de caracteres:

Digits include decimal characters and digits that need special handling, such as the compatibility superscript digits. This covers digits which cannot be used to form numbers in base 10, like the Kharosthi numbers. Formally, a digit is a character that has the property value Numeric_Type=Digit or Numeric_Type=Decimal

A última frase é a chave para entender seu funcionamento: ele considera dígito qualquer caractere que tenha a propriedade Unicode Numeric_Type com o valor igual a Digit ou Decimal. Para testar isso, vou usar o módulo regex, que possui suporte à Unicode Properties e pode ser obtido aqui. O código é esse:

from unicodedata import name
import regex # módulo externo, instale com "pip install regex"

# procura caracteres com a propriedade Numeric_Type igual a Digit ou Decimal
r = regex.compile(r'[\p{Numeric_Type=Digit}\p{Numeric_Type=Decimal}]')
for cp in range(0, 0x10ffff + 1): # para todos os code points existentes
    s = chr(cp)
    if r.match(s):
        print(f'{s} {cp:06X} {name(s, "")}')

Ou seja, para todos os code points possíveis, eu verifico o valor da propriedade Numeric_Type, e se for igual a Digit ou Decimal, eu mostro os dados do caractere.

A lista retornada é imensa, então segue abaixo apenas as primeiras linhas:

0 000030 DIGIT ZERO
1 000031 DIGIT ONE
2 000032 DIGIT TWO
3 000033 DIGIT THREE
4 000034 DIGIT FOUR
5 000035 DIGIT FIVE
6 000036 DIGIT SIX
7 000037 DIGIT SEVEN
8 000038 DIGIT EIGHT
9 000039 DIGIT NINE
² 0000B2 SUPERSCRIPT TWO
³ 0000B3 SUPERSCRIPT THREE
¹ 0000B9 SUPERSCRIPT ONE
٠ 000660 ARABIC-INDIC DIGIT ZERO
١ 000661 ARABIC-INDIC DIGIT ONE
٢ 000662 ARABIC-INDIC DIGIT TWO
٣ 000663 ARABIC-INDIC DIGIT THREE
٤ 000664 ARABIC-INDIC DIGIT FOUR
٥ 000665 ARABIC-INDIC DIGIT FIVE
٦ 000666 ARABIC-INDIC DIGIT SIX
٧ 000667 ARABIC-INDIC DIGIT SEVEN
٨ 000668 ARABIC-INDIC DIGIT EIGHT
٩ 000669 ARABIC-INDIC DIGIT NINE
... (mais um monte)

Repare que os caracteres que você usou no seu teste aparecem aí.

Só um detalhe: pode ser que dê diferença com isdigit e a lista de caracteres não seja 100% igual, pois o módulo regex atualmente usa a versão 13.0 do Unicode, enquanto diferentes versões do Python podem usar outras versões do Unicode (eu testei com Python 3.8, que usa o Unicode 12.1.0, e deu diferença com vários code points acima de U+11950 - pois estes só foram adicionados no Unicode 13.0).


Agora, por que eles dão erro com int? Porque a documentação diz que int deve receber uma string que representa um integer literal, cuja definição é:

integer      ::=  decinteger | bininteger | octinteger | hexinteger
decinteger   ::=  nonzerodigit (["_"] digit)* | "0"+ (["_"] "0")*
bininteger   ::=  "0" ("b" | "B") (["_"] bindigit)+
octinteger   ::=  "0" ("o" | "O") (["_"] octdigit)+
hexinteger   ::=  "0" ("x" | "X") (["_"] hexdigit)+
nonzerodigit ::=  "1"..."9"
digit        ::=  "0"..."9"
bindigit     ::=  "0" | "1"
octdigit     ::=  "0"..."7"
hexdigit     ::=  digit | "a"..."f" | "A"..."F"

Além da lista acima, também é citado em outro ponto da documentação que são aceitos caracteres com a propriedade Nd (que na verdade é a categoria "Number, Decimal Digit"). E para isso podemos alterar o código acima para incluir esta verificação:

from unicodedata import name
import regex

r = regex.compile(r'[\p{Numeric_Type=Digit}\p{Numeric_Type=Decimal}]')
r1 = regex.compile(r'\p{Nd}')
for cp in range(0, 0x10ffff + 1):
    s = chr(cp)
    if r.match(s):
        print(f'{s} {cp:06X} {name(s, "")}', bool(r1.match(s)))

A saída (apenas as primeiras linhas) é:

0 000030 DIGIT ZERO True
1 000031 DIGIT ONE True
2 000032 DIGIT TWO True
3 000033 DIGIT THREE True
4 000034 DIGIT FOUR True
5 000035 DIGIT FIVE True
6 000036 DIGIT SIX True
7 000037 DIGIT SEVEN True
8 000038 DIGIT EIGHT True
9 000039 DIGIT NINE True
² 0000B2 SUPERSCRIPT TWO False
³ 0000B3 SUPERSCRIPT THREE False
¹ 0000B9 SUPERSCRIPT ONE False

Repare que ² e ³ não possuem a propriedade Nd, e portanto não funcionam com int. Mas por ter a propriedade Numeric_Type com um dos valores já citados, retornam True com isdigit.

Se quiser o valor numérico deles, é possível obtê-los usando o módulo unicodedata:

from unicodedata import numeric

print(numeric(square)) # 2.0
# ou int(numeric(square)), se quiser o valor como um int

print(numeric(cube))   # 3.0
5

Introdução

Esse comportamento se deve, principalmente, às Unicode characters properties. Essas propriedades, normatizadas pelo padrão Unicode, descrevem certas características e propriedades comuns a caracteres.

Métodos como o isdigit basicamente fazem uso dessas propriedades para determinar se o caractere em questão faz parte de um grupo específico de caracteres.

O Python fornece, em sua biblioteca padrão, três métodos que, por meio dessas propriedades, fazem algum tipo de verificação sobre valores “numéricos”. Em ordem, do mais abrangente para o menos abrangente, são eles:

Método Propriedades Unicode requeridas (valores de Numeric_Type)
isnumeric Decimal, Digit, Numeric
isdigit Decimal, Digit
isdecimal Decimal

Sobre o método isdigit, tratado pela pergunta, voltemo-nos à documentação (em tradução livre):

Retorna verdadeiro se todos os caracteres da string são dígitos e existe pelo menos um caractere, falso do contrário. Dígitos incluem caracteres decimais e dígitos que precisam de tratamento especial, como os dígitos sobrescritos de compatibilidade. Isso cobre dígitos que não podem ser usado para formar números na base 10, como os números de Kharosthi. Formalmente, um dígito é um caractere que tem a propriedade Numeric_Type=Digit ou Numeric_Type=Decimal.

A última frase, destacada por mim, trata sobre as já referidas “propriedades de caracteres”, normatizadas pelo Unicode. Para a propriedade Numeric_Type, veja nesta tabela que há quatro valores permitidos. Os métodos em questão fazem as verificações sobre três desses valores.

Seguindo as definições do Unicode, um “dígito” é um valor que pertence a uma categoria bem maior do que os caracteres permitidos pela conversão feita pelo int do Python. A motivação dessa maior abrangência dá-se tendo em vista que Unicode foi criado para suportar vários outros scripts do mundo. Naturalmente, então, os caracteres de dígitos presentes no Unicode vão muito além dos originalmente definidos pela tabela ASCII, que compreendem os famosos algarismos arábicos.

Em relação ao Unicode, Python possui o módulo unicodedata, que permite manipulações sobre esse tipo de característica de caracteres (e outras coisas a mais, mas que não vêm ao escopo desta resposta).

Sobre a conversão feita pelo int

De acordo com esta seção da documentação, int aceita:

Os literais numéricos aceitos incluem os dígitos 0 a 9 ou qualquer outro equivalente ao Unicode (code points com a propriedade Nd).

Vale frisar que a categoria geral Nd é equivalente (nas duas direções) ao conjunto de caracteres que possuem a propriedade Numeric_Type=Decimal.

Portanto, embora o método isdigit seja abrangente demais para validar uma string a ser fornecida para conversão pelo int, o método isdecimal é um substituto ideal, haja vista que tem o mesmo conjunto de caracteres permitidos, se comparado ao int.

Vale ressaltar que, nesse sentido, o int aceita também alguns caracteres “alfanuméricos” (como a, f, etc) no caso da base numérica informada for maior que 10.

Podemos confirmar com alguns exemplos:

# Devanagari 6; possui a propriedade `Numeric_Type=Decimal`
'६'.isdecimal()   #> True
int('६')          #> 6


# 1 superscript; NÃO possui a propriedade `Numeric_Type=Decimal`
'¹'.isdecimal()   #> False
int('¹')          #> ValueError lançado.

E se eu só quiser 0 a 9 mesmo?

Nesse caso, como já vimos acima, os métodos isnumeric, isdigit e isdecimal não funcionariam para isso. Todos eles são abrangentes demais.

Nesse caso, utilizar uma expressão regular pode ser uma boa solução. Mas, como vimos acima, para int, o método isdecimal já é suficiente para evitar o ValueError.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .