Não sei se funcionaria há 5 anos atrás, mas resposta anterior não resolve a questão sobre tokenizar palavras em Português propriamente. O word_tokenize
usa o parâmetro language
apenas para tokenizar sentenças internamente com o PunktSentenceTokenizer
e a seguir tokenizar as palavras de cada sentença com o NLTKWordTokenizer
e este último não oferece suporte a idiomas e possui tratamento de contrações e elisão de sons ou supressão de letras de forma hardcoded para o Inglês.
Se usarem word_tokenize
para Português a tokenização funcionará bem para pontuações, parênteses, colchetes e "<>" mas falhará com termos como "d'água" entre outros, além do fato de que tratará contrações (e.g. wanna) em inglês quando não deveria, já que o idioma-alvo é Português e "wanna" seria no máximo um nome próprio.
A solução "temporária" que adotei foi usar RegexpTokenizer
no lugar de NLTKWordTokenizer
, customizando a função word_tokenize
original:
def my_word_tokenize(text, language="english", preserve_line=False):
sentences = [text] if preserve_line else sent_tokenize(text, language)
return [for sent in sentences for token in RegexpTokenizer(r'(?u)\b\w+\b').tokenize(sent)
]
Próximos passos (que aprecio ajuda):
- Customizar
nltk.tokenize.destructive.NLTKWordTokenizer
, basicamente a classe MacIntyreContractions
e as listas STARTING_QUOTES
e ENDING_QUOTES
para que possa tratar contrações e elisões também em Português, substituindo a função my_word_tokenize
acima.
- Retreinar o modelo de abreviações em portuguẽs do
PunktSentenceTokenizer
que vem pre-treinado em arquivo pickle do nltk para adotar as abreviações especificas para cada domínio.