Huuum, já estive no seu lado. Eu diria que você tem duas opções:
com base em um análise dos termos usados, criar uma função que normaliza eles, no estilo de bilhares CASE WHEN
do SQL
, ou if_else
do R
ou dplyr::case_when
.
com base em similaridade de strings eu tentaria colocar as que tem mais de um certo números de caracteres e mais de x% de similaridade com um mesmo termo. Em R
tem o pacote stringdist
que faz isso.
A opção 1 me parece mais "correta" em termos de critério para classificação dos motivos. Por isso vou falar um pouco mais de como faria ela.
Como eu faria a opção 1
Como seria uma análise contagem de termos, eu usaria os recursos do pacote tidytext
para contar essas palavras e obter os 2-grams e 3-grams que são mais comuns e tentatia colocar os mais parecidos (e iguais dependendo do seu conhecimento de domínio). Com isso eu acho que vc conseguiria matar boa parte do problema. Os casos muito granulares, eu colocaria numa categoria 'outros' sem peso na consciência.
Como ficaria o código
Vou deixar um snipet de como eu escreveria esse código, usando os pacotes stringr
, dplyr
e purrr
.
library(dplyr)
library(purrr)
library(stringr)
## dados para teste
toy_df <- tibble(motivo = c('danos morais', 'dano moral', 'danos materiais', 'dano x'))
## dados para facilitar a criação de vetores
make_vector <- function(string) stringr::str_split(string, pattern = ', ') %>% purrr::as_vector()
## a transformação em si
toy_df %>%
mutate(classe = case_when(
motivo %in% make_vector('dano moral, danos morais, danos whatever') ~ 'dano_moral',
motivo %in% make_vector('danos materiais, dano material') ~ 'dano_material',
TRUE ~ 'outros'
))
Eu prefiro o uso do dplyr::case_when
pois ele é vetorizado e acaba processando dados volumosos um pouco mais rápido. A sintaxe, apesar de estranha, é mais funcional que a do if_else
(onde vc ficaria repetindo if_else pra tudo quanto é lado).
A função make_vector
esta aí só para facilitar a criação de vetores de strings com uma sintaxe mais limpa. Num mundo perfeito esses vetores que serviram para colocar os motivos na mesma classes sairíam de uma análise sua, ou algo asism.
dados
por favor ponha na pergunta o output dedput(head(dados, 30))
. Ou de algo representativo dos dados.