Não existe um jeito mágico de fazer isso. Vou propor uma forma que talvez possa agilizar o seu trabalho manual, pois em algum momento você terá que conferir e ver quais estão bem classificados ou não.
Com o seguinte código:
combinar_textos_parecidos <- function(x, max_dist, method = "lv"){
x <- as.character(x)
distancias <- stringdist::stringdistmatrix(x, x, method = method)
for(i in 1:length(x)){
small_dist <- distancias[i,] < max_dist
if(sum(small_dist) > 1){
x[small_dist] <- x[which(small_dist)[1]]
}
}
return(x)
}
Copiado da pergunta linkada e adaptdado para escolher o método de cálculo da distância.
library(stringr)
textos %>% str_replace_all("-", " ") %>%
str_replace_all("[:space:]{1,}", " ") %>%
combinar_textos_parecidos(0.4, method = "jaccard")
[1] "ADASA/DF" "ADASA AGENCIA DE AGUAS" "ADASA/DF" "CASA CIVIL"
[5] "CASA CIVIL" "CASA CIVIL" "CASA CIVIL" "CASA CIVIL"
[9] "CASA CIVIL" "CASA CIVIL" "CASA CIVIL"
Dessa forma, no seu exemplo você precisaria alterar apenas 1 elemento do seu vetor.
É claro que essa é só uma alternativa. Você também poderia criar uma tabela auxiliar com todas as possíveis empresas e fazer um join usando o pacote fuzzyjoin
. Por algum motivo o pacote não faz o join quando uma das tabelas tem apenas uma coluna (vou abrir um issue no github), mas já dá pra usar.
Exemplo:
textos <- data.frame(emp = c("ADASA/DF", "ADASA-AGENCIA DE AGUAS", "ADASA-DF",
"CASA CIVIL", "CASA CIVIL - DF", "CASA CIVIL DA GOVERNADORIA DF", "CASA CIVIL DO DF", "CASA CIVIL DO DF.", "CASA CIVIL DO DIST. FEDERAL", "CASA CIVIL DO DISTRITO FEDERAL", "SEC. ESTADO DA CASA CIVIL"),
stringsAsFactors = F, a = 1
)
empresas <- data.frame(emp = c("ADASA", "CASA CIVIL"), emp2 = c("ADASA", "CASA CIVIL"), stringsAsFactors = F)
library(fuzzyjoin)
regex_left_join(textos, empresas, by = c(emp = "emp"))
emp.x a emp.y emp2
1 ADASA/DF 1 ADASA ADASA
2 ADASA-AGENCIA DE AGUAS 1 ADASA ADASA
3 ADASA-DF 1 ADASA ADASA
4 CASA CIVIL 1 CASA CIVIL CASA CIVIL
5 CASA CIVIL - DF 1 CASA CIVIL CASA CIVIL
6 CASA CIVIL DA GOVERNADORIA DF 1 CASA CIVIL CASA CIVIL
7 CASA CIVIL DO DF 1 CASA CIVIL CASA CIVIL
8 CASA CIVIL DO DF. 1 CASA CIVIL CASA CIVIL
9 CASA CIVIL DO DIST. FEDERAL 1 CASA CIVIL CASA CIVIL
10 CASA CIVIL DO DISTRITO FEDERAL 1 CASA CIVIL CASA CIVIL
11 SEC. ESTADO DA CASA CIVIL 1 CASA CIVIL CASA CIVIL
palavras-chave
que deverão ser encontradas nessa coluna, substituindo todo o restante. Ex: Utilizo a palavra-chaveCASA CIVIL
, procuro todos os registros que a contenham e substituo o valor da coluna por ela.