3

Tenho uma tabela do Excel já no R com duas colunas (código e nome da empresa) e 22 mil linhas. Os nomes foram preenchidos livremente, então o mesmo nome está escrito de diferentes formas, abreviadas e por extenso.

Já consegui transformar tudo para caixa alta, mas preciso transformar os nomes para um único padrão, de forma a não repetir a mesma empresa com descrições diferentes.

Exemplos de situações de descrições diferentes para a mesma empresa:

  1. ADASA/DF, ADASA-AGENCIA DE AGUAS, ADASA-DF Seria transformado para ADASA;

  2. CASA CIVIL, CASA CIVIL - DF, CASA CIVIL DA GOVERNADORIA DF, CASA CIVIL DO DF, CASA CIVIL DO DF., CASA CIVIL DO DIST. FEDERAL, CASA CIVIL DO DISTRITO FEDERAL, SEC. ESTADO DA CASA CIVIL, etc... seria transformado para CASA CIVIL.

Pesquisei por perguntas similares no site, mas não encontrei resposta.
Como sou iniciante em programação e em R, talvez não esteja sabendo qual o melhor termo para pesquisar.

Depois de padronizar os textos da coluna "nome da empresa", preciso conseguir como resultado todos os códigos associados àquela empresa, sem repetir o nome da empresa.

8
  • 1
    quando vc fala q é iniciante, é iniciante em programação? já pensou em criar uma tabela de conversão utilizando expressões regulares?
    – gzinho
    Commented 16/08/2016 às 18:57
  • 1
    Caro MaviR, acredito que o que queres não é uma tarefa programável sem saberes exatamente qual informação deve ser extraída de cada linha desta tabela. As possibilidades são virtualmente infinitas e efetuar um "DISTINCT" nestas informações, considerando que ela pode estar em qualquer posição do texto e escrita em diversas formas diferentes me parece uma tarefa impossível sem um banco de dados de clientes corretos (o que já seria por si só a correção), também pelo fato de qualquer expressão regular conforme sugerido acima poder gerar falsos positivos. Commented 16/08/2016 às 18:57
  • 1
    Com as informações dadas, acredito que você deva criar uma série de palavras-chave que deverão ser encontradas nessa coluna, substituindo todo o restante. Ex: Utilizo a palavra-chave CASA CIVIL, procuro todos os registros que a contenham e substituo o valor da coluna por ela. Commented 16/08/2016 às 19:03
  • Quando você fala que tem uma "base de dados", estás utilizando algum SGBD como MySQL, Oracle, etc... ? Commented 16/08/2016 às 19:10
  • 1
    Ela não usa o início para calcular a distância, podem ser coisas no meio da frase... Commented 16/08/2016 às 19:17

1 Resposta 1

2

Não existe um jeito mágico de fazer isso. Vou propor uma forma que talvez possa agilizar o seu trabalho manual, pois em algum momento você terá que conferir e ver quais estão bem classificados ou não.

Com o seguinte código:

combinar_textos_parecidos <- function(x, max_dist, method = "lv"){
  x <- as.character(x)
  distancias <- stringdist::stringdistmatrix(x, x, method = method)
  for(i in 1:length(x)){
    small_dist <- distancias[i,] < max_dist
    if(sum(small_dist) > 1){
      x[small_dist] <- x[which(small_dist)[1]] 
    }
  }
  return(x)
}

Copiado da pergunta linkada e adaptdado para escolher o método de cálculo da distância.

library(stringr)
textos %>% str_replace_all("-", " ") %>%
  str_replace_all("[:space:]{1,}", " ") %>%
  combinar_textos_parecidos(0.4, method = "jaccard") 

 [1] "ADASA/DF"               "ADASA AGENCIA DE AGUAS" "ADASA/DF"               "CASA CIVIL"            
 [5] "CASA CIVIL"             "CASA CIVIL"             "CASA CIVIL"             "CASA CIVIL"            
 [9] "CASA CIVIL"             "CASA CIVIL"             "CASA CIVIL"            

Dessa forma, no seu exemplo você precisaria alterar apenas 1 elemento do seu vetor.

É claro que essa é só uma alternativa. Você também poderia criar uma tabela auxiliar com todas as possíveis empresas e fazer um join usando o pacote fuzzyjoin. Por algum motivo o pacote não faz o join quando uma das tabelas tem apenas uma coluna (vou abrir um issue no github), mas já dá pra usar.

Exemplo:

textos <- data.frame(emp = c("ADASA/DF",  "ADASA-AGENCIA DE AGUAS", "ADASA-DF",
                                          "CASA CIVIL", "CASA CIVIL - DF", "CASA CIVIL DA GOVERNADORIA DF", "CASA CIVIL DO DF", "CASA CIVIL DO DF.", "CASA CIVIL DO DIST. FEDERAL", "CASA CIVIL DO DISTRITO FEDERAL", "SEC. ESTADO DA CASA CIVIL"),
                     stringsAsFactors = F, a = 1
)

empresas <- data.frame(emp = c("ADASA", "CASA CIVIL"), emp2 = c("ADASA", "CASA CIVIL"), stringsAsFactors = F)
library(fuzzyjoin)
regex_left_join(textos, empresas, by = c(emp = "emp"))

                            emp.x a      emp.y       emp2
1                        ADASA/DF 1      ADASA      ADASA
2          ADASA-AGENCIA DE AGUAS 1      ADASA      ADASA
3                        ADASA-DF 1      ADASA      ADASA
4                      CASA CIVIL 1 CASA CIVIL CASA CIVIL
5                 CASA CIVIL - DF 1 CASA CIVIL CASA CIVIL
6   CASA CIVIL DA GOVERNADORIA DF 1 CASA CIVIL CASA CIVIL
7                CASA CIVIL DO DF 1 CASA CIVIL CASA CIVIL
8               CASA CIVIL DO DF. 1 CASA CIVIL CASA CIVIL
9     CASA CIVIL DO DIST. FEDERAL 1 CASA CIVIL CASA CIVIL
10 CASA CIVIL DO DISTRITO FEDERAL 1 CASA CIVIL CASA CIVIL
11      SEC. ESTADO DA CASA CIVIL 1 CASA CIVIL CASA CIVIL

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .