0

Acredito que seja uma dúvida simples, porém em todos os cursos que estou fazendo o instrutor ensina a separar dados de treino e teste de um csv ou alguma base. Porém quero fazer os testes com o input do usuário ao invés disso, mas quando tento, diz que precisa ter o mesmo tamanho que os treinos, não há uma forma de testar só um input?

Exemplo: Meu dataframe

Estou usando a coluna tratamento_5 com o seguinte código

tfidf = TfidfVectorizer(lowercase=False)
vetor_tfidf = tfidf.fit_transform(resenha["tratamento_5"])
treino, teste, classe_treino, classe_teste = train_test_split(vetor_tfidf,
                                                              resenha["classificacao"],
                                                              random_state = 42)
regressao_logistica.fit(treino, classe_treino)
acuracia_tfidf = regressao_logistica.score(teste, classe_teste)
print(regressao_logistica.predict(teste).tolist())

Esse código separa os dados de teste e treino e prediz com os dados de teste.

Porém quero fazer algo com a interação do usuário, ou seja um texto inserido pelo usuário, tentei dessa forma:

vetor_tfidf2 = tfidf.fit_transform(["Esse filme foi muito bom, gostei dos movimentos de ação do inicio até o final do filme"])
treino, teste, classe_treino, classe_teste = train_test_split(vetor_tfidf2,
                                                              resenha["classificacao"],
                                                              random_state = 42)
regressao_logistica.fit(treino, classe_treino)
acuracia_tfidf = regressao_logistica.score(teste, classe_teste)
print(regressao_logistica.predict(teste).tolist())

print(vetor_tfidf2.shape)
print(resenha['classificacao'].shape)

Porém me retorna o seguinte erro

ValueError: Found input variables with inconsistent numbers of samples: [1, 49459]

Isso me parece que é porque os dados de treino e teste tem tamanhos diferentes, mas como posso fazer somente com uma frase e não usando o dataframe como tentei?

1 Resposta 1

1

Em primeiro lugar, o erro ocorre em

treino, teste, classe_treino, classe_teste = train_test_split(vetor_tfidf2,
                                                              resenha["classificacao"],
                                                              random_state = 42)

Isto porque vetor_tfidf2 possui apenas 1 item, e resenha["classificacao"] possui 49459. Para usar o train_test_split(X, y), X e y devem ter a mesma quantidade de valores. Cada entrada em X equivale a uma classificação em y. Ex: X[0] possui a classificação y[0].

Como testar só um input?

Com a primeira parte do seu código:

tfidf = TfidfVectorizer(lowercase=False)
vetor_tfidf = tfidf.fit_transform(resenha["tratamento_5"])
treino, teste, classe_treino, classe_teste = train_test_split(vetor_tfidf,
                                                              resenha["classificacao"],
                                                              random_state = 42)
regressao_logistica.fit(treino, classe_treino)

Já temos um tfidf e um regressao_logistica treinados. Ou seja, não vamos retreiná-los. Então a linha vetor_tfidf2 = tfidf.fit_transform(["Frase que quero testar"]) é incoerente. O certo é apenas transformar a frase com o tfidf já treinado. Isto é feito com a função .transform(), assim:

vetor_tfidf2 = tfidf.transform(["Frase que quero testar"])

Como já temos o modelo treinado, separar novas frases que queremos testar em treino e teste e retreinar o modelo não faz sentido algum. Tudo que precisamos fazer é pegar as frases e usar no modelo. Por isso a linha que está dando erro, o segundo train_test_split(), pode ser descartada completamente.

As linhas seguintes, regressao_logistica.fit(treino, classe_treino) e acuracia_tfidf = regressao_logistica.score(teste, classe_teste) também devem ser descartadas. Não queremos retreinar o modelo.

Por fim, seu segundo bloco de código (para testar novas frases) deveria ser:

# uso o tfidf já treinado para transformar a nova frase
vetor_tfidf2 = tfidf.transform(["Frase que quero testar"])

# aplico a frase transformada como entrada do modelo já treinado
print(regressao_logistica.predict(vetor_tfidf2).tolist())

Uma ressalva é que o modelo foi treinado com frases que sofreram um tratamento. Para usar novas frases, é justo aplicar o mesmo tratamento nas novas frases antes de usá-las como entrada do modelo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .