2

Boa noite pessoal, Gostaria de uma ajuda de vcs, pois estou iniciando no R, e tenho uma demanda, onde eu tenho que sinalizar as linhas onde tem as frases parecidas. Para isso, estou usando a biblioteca stringdist. Porem, eu só consigo fazer a comparação por palavras na mesma posição, e gostaria de saber a similaridade da frase inteira, não importando a posição das palavras. POr exemplo, no resultado abaixo, na 3º linha é a mesma frase, só que as palavras estão em posições diferentes. Eu deveria considerar que é frase é similiar.

                              vet1      vet2          vet3     
  heber dos Santos araujo   0.0000000   0.0000000   0.3591486

  heber dos Santos araujo   0.0000000   0.0000000   0.3591486

  araujo Santos dos heber   0.3591486   0.3591486   0.0000000

  heber dos s araujo    0.1372786   0.1372786   0.3955314

O código que estou utilizando é:

library(stringdist)

library(dplyr)

dis<-read.csv2("C:/Users/heber.araujo/Desktop/Estudo Questões Duplicadas/exemploTeste.csv")

library(tm)
stp<-stopwords("portuguese") #'Lista de palavras comuns que ele retira'


dis$Nome<-as.character(dis$Nome) # Coluna para pesquisa
dis$Nome<-removeWords(dis$Nome,stp)

'#for(i in 1:nrow(dis)){  
'# dis_2<-strsplit(dis$text[i]," ")  # esse comando quebra a frase por palavra
'# dis_3<-unlist(dis_2) 

'#dis_3<-dis$GQUE_DS_ENUNCIADO

dis_3<-dis$Nome

res<-stringdistmatrix(dis_3,dis_3,method = "jw")

rownames(res)<-dis_3

1 Resposta 1

5

Creio que o seguinte código responde à pergunta.
Primeiro vou ler os dados, uma vez que não temos acesso ao ficheiro exemploTeste.csv.

Nome <- scan(what = character(), text = "
'heber dos Santos araujo'
'heber dos Santos araujo'
'araujo Santos dos heber'
'heber dos s araujo'")

Agora, as distâncias vão ser calculadas por uma função, heber, que ordena os nomes antes, e só depois chama stringdistmatrix com os nomes ordenados. Assim as diferenças de ordem das palavras desaparecem.
Os originais não são alterados.

heber <- function(x, method = "jw"){
    y <- strsplit(x, "[[:space:]]+")
    y <- apply(sapply(y, sort), 2, paste, collapse = " ")
    stringdistmatrix(y, y, method = method)
}

Nome <- removeWords(Nome, stp)
dis_3 <- Nome

res <- heber(dis_3)
rownames(res) <- dis_3
res
#                          [,1]      [,2]      [,3]      [,4]
#heber  Santos araujo 0.0000000 0.0000000 0.0000000 0.0877193
#heber  Santos araujo 0.0000000 0.0000000 0.0000000 0.0877193
#araujo Santos  heber 0.0000000 0.0000000 0.0000000 0.0877193
#heber  s araujo      0.0877193 0.0877193 0.0877193 0.0000000

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .