4

Estou fazendo meu TCC onde a ideia, a grosso modo, parte da coleta de tweets e um treinamento de um algoritmo de machine learning para classificar esses dados.

Como eu pré-processaria este tweet, sendo que a ideia seria treinar um algoritmo de aprendizagem de máquina com entradas, onde será alimentado com tweets que significam compra e tweets que não significam não compra, para que posteriormente, a partir deste algoritmo treinado, eu possa dar como entrada um tweet e ele me dê a saída se ele refere-se sim ou não a uma compra.

Já possuo a base de dados dos tweets coletados, e já incorporei a API do Weka em meu projeto.

5
  • Só reescrever a sua base no formato ARFF. Possivelmente com um pequeno script. Commented 28/04/2014 às 14:01
  • Entendo, no entanto estou tentando pensar em como ficaria esse arquivo arff, você teria uma ideia de como ficaria o esboço desse arquivo? Commented 28/04/2014 às 21:36
  • Poste um pedacinho da sua base de tweet (pode ser só 1) que eu respondo pra vc Commented 29/04/2014 às 13:05
  • "To e morto Galaxy S5 por R$ 2,600" -- "Preciso de um galaxy s5" Commented 29/04/2014 às 13:28
  • Nesse exemplos acima, possuo 2 tweets, um que demonstra que o usuário não compraria e outro mostrando um tweet de um potencial interesse. Commented 29/04/2014 às 13:31

2 Respostas 2

2

O WEKA lê um arquivo no formato ARFF.

Para criar um arquivo arff, deve-se definir os seguintes cabeçalhos:

Declaração de Relação

Um nome para a relação, definida na primeira linha do arquivo. Declara-se:

@relation <nome da relacao>

Se o nome da relação contiver espaços, deve-se usar aspas.

Declaração de Atributos

Os atributos são declarados através de uma sequencia ordenada de @attributes. Cada atributo no conjunto de dados deve possuir sua própria declaração usando @attribute que identifica unicamente o nome deste atributo e o tipo de dado. A ordem em que são declarados indicam a ordem em que aparecem no conjunto de dados.

Declara-se:

@attribute <nome do atributo> <tipo de dado>

O nome do atributo deve começar com letra e, se contiver espaços, deve estar entre aspas.

Os tipos de dados suportados pelo WEKA são:

  • Números (reais ou inteiros): Numeric
  • Texto "livre": String
  • Atributos nominais (texto pré-determinado)
  • Data: Date [<date-format>]
  • Atributos relacionais

Atributos numéricos

Serve tanto para inteiros quanto para reais. Se declara:

@attribute idade numeric

Atributos nominais

Valores nominais são definidos quando se provê uma lista de possíveis valores. Por exemplo:

@attribute classe {comprador, possivel-comprador, nao-comprador}

Atributos do tipo String

Usado para textos arbitrários. Declara-se:

@attribute tweet string

Nota: deve estar entre aspas se contiver espaços.

Declaração do conjunto de dados

O conjunto de dados é declarado em uma única linha. Declara-se:

@data

Delimita onde começa, de fato, os dados de instância.

Dados de instância

Os dados da instância são declarados um por linha e deve-se separar os atributos com vírgula.


Respondendo diretamente sua pergunta, uma possível configuração de um arquivo ARFF para o seu problema seria assim:

% Tudo depois do % é ignorado. Pode-se utilizar para inserir comentários
@relation compradores

@attribute tweet string
@attribute classe {compraria, nao-compraria}

@data
"To e morto Galaxy S5 por R$ 2,600", nao-compraria
"Preciso de um galaxy s5", compraria
"Configurando meu Galaxy s5", compraria
"Prefiro um iphone do que um galaxy s5", nao-compraria
3
  • Entendo, muito obrigado @Beterraba. Vou ver o que faço aqui, desde já agradeço! Commented 29/04/2014 às 14:08
  • @MaiconFunke Se a resposta resolver seu problema, não esquece de marca-la como aceita ;-) Commented 29/04/2014 às 14:14
  • Dessa maneira não foi possivel, no entanto eu criei um arquivo arff nesse padrão, mas tive que utiliza o filro stringtowordvector da api do weka, que me gerou o arquivo correto, no entanto não sei como adicionar novas instancias, para o testar o algoritmo. Se você poder me ajudar... Commented 12/05/2014 às 14:25
1

Então cara, eu estou fazendo algo parecido e me deparei com o mesmo problema. Coletei os Tweets com Python e salvei em um arquivo Json, quando fui ler o json no weka ele nao reconhecia. Eu resolvi da seguinte maneira:

Converti o json em csv e tirei todas as quebras de linha, virgulas, aspas simples e duplas, tirei o acento das palavras e em seguida tentei abrir no weka e deu certo.

Depois de abrir no Weka vc consegue salvar o seu arquivo no formato arff, depois precisei abrir o arquivo para alterar uma linha dele, pois o weka não estava reconhecendo o campo text como string, para isso precisei alterar uma linha do arquivo que ficou assim no inicio do arquivo logo após o @relation:

@attribute text string

Você pode aplicar filtros do Weka no arquivo como por exemplo o RemoveDuplicates para remover instancias duplicadas e depois de ter feito o procedimento acima, pode aplicar o filtro de StringToWordVector o que vai te ajudar a fazer uma analise de sentimento.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .