2

Estou tentando classificar com sklearn, mas estou recebendo um erro:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LinearRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn import metrics

X = df['texto'].values #texto que é a base para classificação
Y = df['sentimento'].values #sentimento é o que será treinado. Obs, a coluna setimento já está preenchida com o devido sentimento para cada texto (seguro, inseguro ou nêutro)
split_test_size = 0.30 #30% para teste e 70% para treino

#dividindo o modelo
X_treino, X_teste, Y_treino, Y_teste = train_test_split(X, Y, test_size = split_test_size, random_state = 42)

modelo_v1 = GaussianNB()

#treinando o modelo
    modelo_v1.fit(X_treino, Y_treino.ravel())

Retorna o erro:

Traceback (most recent call last): File "C:\Users\USUARIO\workspacePython\testes\exemploClassificacaoTwitter2.py", line 280, in main() File "C:\Users\USUARIO\workspacePython\testes\exemploClassificacaoTwitter2.py", line 65, in main classificar3(df, "estou com medo da violência") File "C:\Users\USUARIO\workspacePython\testes\exemploClassificacaoTwitter2.py", line 277, in classificar3 modelo_v1.fit(X_treino, Y_treino.ravel()) File "C:\ProgramData\Anaconda3\lib\site-packages\sklearn\naive_bayes.py", line 182, in fit X, y = check_X_y(X, y) File "C:\ProgramData\Anaconda3\lib\site-packages\sklearn\utils\validation.py", line 521, in check_X_y ensure_min_features, warn_on_dtype, estimator) File "C:\ProgramData\Anaconda3\lib\site-packages\sklearn\utils\validation.py", line 382, in check_array array = np.array(array, dtype=dtype, order=order, copy=copy) ValueError: could not convert string to float: 'só me sinto a vontade em local tranquilo'

Será que não trabalha com string? Ou eu teria que pegar o número da frequência das palavras?

1
  • Boa tarde, @André Nascimento. Acredito que você está usando os textos originais (raw data) ao invés das caraterísticas extraídas dos textos com alguma técnica de extração de características (text features from feature extraction technique). O CountVectorizer está no seu código mas não vi sendo utilizado. Usar ele pode ajudar. Commented 2/12/2019 às 10:37

1 Resposta 1

0

Conforme a documentação do sklearn "trabalhando com dados textuais" encontrada neste link, alguns extratores de características estão disponíveis facilmente com o módulo para serem usados.

Um exemplo simples é o CountVectorizer que cria bag of words com n-grams de todos os tamanhos, já lidando com o filtro das stopwords e outros preprocessamentos comuns.

Um código simples de exemplo mostrado na documentação é esse:

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(twenty_train.data)
X_train_counts.shape

Espero ter ajudado.

P.S: Fique bem e fique em casa. (tempos de coronavírus COVID-19).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .