0

Preciso transformar um banco de frases que eu mesmo criei em um vetor adequado para pode usa-lo como treinamento de uma rede neural no TensorFlow. Tenho a seguinte estrutura:

Eu consegui separar as frases em palavras:

Contudo, eu gostaria de saber como fazer em parta transformar essas frases em um vetor de inteiros onde as palavras sejam substituídas por um índice. Alguém sabe como fazer?

1 Resposta 1

0

Use um objeto da classe Tokenizer do keras.

# criar objeto da classe Tokenizer():
from tensorflow.keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer()

# construir o dicionário usado pelo tokenizer para converter em inteiros:
tokenizer.fit_on_texts( SUA LISTA DE FRASES DE REFERÊNCIA VAI AQUI)

# criar a lista de frases como sequência de inteiros:
sequences = tokenizer.texts_to_sequences( SUA LISTA DE FRASES QUE DESEJA CONVERTER VAI AQUI)

O método fit_on_texts() pode ser chamado múltiplas vezes com argumentos diferentes. Cada vez que fizer o fit, as palavras que ainda não constam no dicionário vão ser incluídas. Para conferir como ficou o dicionário depois de fazer o fit, consulte o atributo word_index.

Dependendo de como for montar seu modelo, a classe Tokenizer tem outros métodos úteis, como o texts_to_matrix() e o sentences_to_texts().

Mais detalhes aqui: https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/text/Tokenizer

Uma pequena correção: o que você quer (transformar frase num vetor de inteiros) é feito por um tokenizer, que traduz as palavras para um número inteiro que vai de 1 até o tamanho do dicionário (quantidade de palavras conhecidas pelo tokenizer). Embedding é outra coisa, é transformar em um vetor de números reais, de dimensão reduzida (tipicamente 50-300 dimensões).

1

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .