9

Estou tendo sérias dificuldades para entender esse mecanismo.

Em inglês seria apenas:

import nltk
tag_word = nltk.word_tokenize(text)

Sendo que text é o texto em inglês que eu gostaria de "tokenizar", o que ocorre muito bem, porém em português ainda não consegui achar nenhum exemplo. Estou desconsiderando aqui as etapas anteriores de stop_words e sent_tokenizer, só para deixar claro que a minha dúvida é com relação a tokenização.

2
  • Já leu este artigo ou viu este repositório?
    – Woss
    20/07/2017 às 22:44
  • Ola @AndersonCarlosWoss, sim já li, mas ainda não consegui entender o fluxo. Consegui usar o stop_words com nltk.corpus.stopwords.words('portuguese'), mas ainda não consegui taggear as palavras, esse exemplo da internet achei muito pouco didático.
    – Mueladavc
    20/07/2017 às 22:59

2 Respostas 2

11
import nltk    
from nltk import tokenize    
palavras_tokenize = tokenize.word_tokenize(text, language='portuguese')    
0

Não sei se funcionaria há 5 anos atrás, mas resposta anterior não resolve a questão sobre tokenizar palavras em Português propriamente. O word_tokenize usa o parâmetro language apenas para tokenizar sentenças internamente com o PunktSentenceTokenizer e a seguir tokenizar as palavras de cada sentença com o NLTKWordTokenizer e este último não oferece suporte a idiomas e possui tratamento de contrações e elisão de sons ou supressão de letras de forma hardcoded para o Inglês.

Se usarem word_tokenize para Português a tokenização funcionará bem para pontuações, parênteses, colchetes e "<>" mas falhará com termos como "d'água" entre outros, além do fato de que tratará contrações (e.g. wanna) em inglês quando não deveria, já que o idioma-alvo é Português e "wanna" seria no máximo um nome próprio.

A solução "temporária" que adotei foi usar RegexpTokenizer no lugar de NLTKWordTokenizer, customizando a função word_tokenize original:

def my_word_tokenize(text, language="english", preserve_line=False):
    sentences = [text] if preserve_line else sent_tokenize(text, language)
    return [for sent in sentences for token in RegexpTokenizer(r'(?u)\b\w+\b').tokenize(sent)
]

Próximos passos (que aprecio ajuda):

  1. Customizar nltk.tokenize.destructive.NLTKWordTokenizer, basicamente a classe MacIntyreContractions e as listas STARTING_QUOTES e ENDING_QUOTES para que possa tratar contrações e elisões também em Português, substituindo a função my_word_tokenize acima.
  2. Retreinar o modelo de abreviações em portuguẽs do PunktSentenceTokenizer que vem pre-treinado em arquivo pickle do nltk para adotar as abreviações especificas para cada domínio.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .