2
dados1 <- c("10 ANOS DA POLÍTICA NACIONAL DE PROMOÇÃO DA SAÚDE: TRAJETÓRIAS E DESAFIOS", "4-CYCLOPROPYL-1-(1-METHYL-4-NITRO-1H-IMIDAZOL-5-YL)-1H-1,2,3-TRIAZOLE AND ETHYL 1-(1-METHYL-4-NITRO-1H-IMIDAZOL-5-YL)-1H-1,2,3-TRIAZOLE-4-CARBOXYLATE","7,7-DIMETHYLAPORPHINE AND OTHER ALKALOIDS FROM THE BARK OF", "ABSCESSO DO MÚSCULO PSOAS ASSOCIADO À INFECÇÃO POR MYCOBACTERIUM TUBERCULOSIS EM PACIENTE COM AIDS", "ABUNDANCE OF LUTZOMYIA LONGIPALPIS TESTE","ABUNDANCE OF LUTZOMYIA LONGIPALPIS", "ABUSO E DEPENDÊNCIA DE DROGAS NA PERSPECTIVA DA SAÚDE PÚBLICA (EDITORIAL)")

qualis <- c("A2", "B3", "A1", "B2", "A2", "A2", "A1")

m <- data.frame("Título da Produção" = dados1,
                "Qualis" = qualis,
                "Ano" = c(2010:2016))

O df acima é apenas ilustrativo. Notem que o quinto e sexto elemento de "dados1" são praticamente a mesma coisa, mas como não estão escritos da mesma maneira não consigo utilizar o duplicated e nem o unique.

Há alguma outra opção para limpar essas linhas, filtrando por parte do nome?

0

1 Resposta 1

3

Fiz uma função que pode te ajudar. Ela usa o pacote stringdist que calcula a distância entre strings:

combinar_textos_parecidos <- function(x, max_dist){
  x <- as.character(x)
  distancias <- stringdist::stringdistmatrix(x, x)
  for(i in 1:length(x)){
    small_dist <- distancias[i,] < max_dist
    if(sum(small_dist) > 1){
      x[small_dist] <- x[which(small_dist)[1]] 
    }
  }
  return(x)
}

Veja o que ela retorna quando aplico no seu vetor Título.da.Produção. Agora os itens 5 e 6 possuem exatamente o mesmo nome.

combinar_textos_parecidos(m$Título.da.Produção, 10)
[1] "10 ANOS DA POLÍTICA NACIONAL DE PROMOÇÃO DA SAÚDE: TRAJETÓRIAS E DESAFIOS"                                                                            
[2] "4-CYCLOPROPYL-1-(1-METHYL-4-NITRO-1H-IMIDAZOL-5-YL)-1H-1,2,3-TRIAZOLE AND ETHYL 1-(1-METHYL-4-NITRO-1H-IMIDAZOL-5-YL)-1H-1,2,3-TRIAZOLE-4-CARBOXYLATE"
[3] "7,7-DIMETHYLAPORPHINE AND OTHER ALKALOIDS FROM THE BARK OF"                                                                                           
[4] "ABSCESSO DO MÚSCULO PSOAS ASSOCIADO À INFECÇÃO POR MYCOBACTERIUM TUBERCULOSIS EM PACIENTE COM AIDS"                                                   
[5] "ABUNDANCE OF LUTZOMYIA LONGIPALPIS TESTE"                                                                                                             
[6] "ABUNDANCE OF LUTZOMYIA LONGIPALPIS TESTE"                                                                                                             
[7] "ABUSO E DEPENDÊNCIA DE DROGAS NA PERSPECTIVA DA SAÚDE PÚBLICA (EDITORIAL)" 

Então fazendo:

m$Título.da.Produção <- combinar_textos_parecidos(m$Título.da.Produção, 10)
m[!duplicated(m$Título.da.Produção),]

A linha 5 seria excluida.

Obs usei a distancia 10 como ponto de corte. Talvez você queira ser mais ou menos tolerante com a proximidade das strings. Para isso basta controlar o parâmetro max_dist da minha função.

Você pode ler mais sobre o cálculo das distâncias aqui ou digitando help("stringdist-metrics") no seu console do R.

3
  • Muito obrigado. Commented 8/08/2016 às 18:30
  • dados$Título.da.Produção <- combinar_textos_parecidos(dados$Título.da.Produção, 10) Error in distancias[i, ] : subscript out of bounds obrigado. mas ainda estou tentando entender o problema.
    – Fernando
    Commented 8/08/2016 às 18:49
  • Esse erro está acontecendo provavelmente pq vc não tem essa coluna no seu banco de dados. Veja o que acontece qundo faço a função de NULL: > combinar_textos_parecidos(NULL, 10) Error in distancias[i, ] : subscript out of bounds. Commented 8/08/2016 às 19:28

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .