A resposta da colega @Priscilla é suficiente e, de fato, a melhor escolha para a grande maioria dos casos. Porém, se o seu crowler precisar lidar com dinheiro em diferentes formatos, pode ser útil você considerar a localidade/idioma da página acessada. Uma forma de fazer isso é utilizando o pacote locale
.
Eis um exemplo de código ilustrativo:
import re
import locale
#--------------------------------------------------
def extractMonetaryValue(text):
cs = locale.localeconv()['currency_symbol']
expr = '{}[ ]*[0-9.,]+'.format(cs.replace('$', '\\$'))
m = re.search(expr, text)
if m:
s = m.group(0).replace(cs, '').replace(' ', '')
return locale.atof(s)
else:
return 0.0
#--------------------------------------------------
s = 'Este teste testa um valor (por exemplo: R$ 560.200,40) expresso em Reais.'
locale.setlocale(locale.LC_ALL, 'ptb_bra') # 'pt_BR' se não estiver no Windows
n = extractMonetaryValue(s)
print('Para "{}" o valor é: {}'.format(s, n))
s = 'This test tests a value (let us say U$ 482,128.33) given in US Dolars.'
locale.setlocale(locale.LC_ALL, 'enu_usa') # 'en_US' se não estiver no Windows
n = extractMonetaryValue(s)
print('Para "{}" o valor é: {}'.format(s, n))
Nesse código, o principal é a função extractMonetaryValue
. Ela recebe um texto qualquer e procura nele por um subtexto que contenha, necessariamente, o símbolo monetário do país/idioma configurado (seguido de zero ou mais espaços), e então um número composto de dígitos, pontos e vírgulas. Para tal, ela usa uma expressão regular bem abrangente: ela não se preocupa se o "formato" numérico está correto ou não, pois isso será feito depois, pela chamada de locale.atof
(que lança a exceção ValueError
se o formato estiver incorreto de acordo com o país/idioma configurados).
A saída do código acima é a seguinte:
Para "Este teste testa um valor (por exemplo: R$ 560.200,40) expresso em Reais." o valor é: 560200.4
Para "This test tests a value (let us say U$ 482,128.33) given in US Dolars." o valor é: 482128.33
Repare como os números impressos no final usam ambos o ponto como separador decimal (afinal, são valores representados como float
internamente, da mesma forma independentemente da origem tratada).
P.S.:
- Para detectar o
locale
padrão do sistema operacional, use locale.getdefaultlocale()
- Para detectar o
locale
de uma página web, verifique se ela tem essa infomação na tag
lang
.
Se ela não tiver, você precisará tentar inferir o idioma. Pra sua
(nossa! hehe) sorte, há esse porte do detector de idiomas do Google
para Python chamado
langdetect
.