2

Tenho uma planilha com cerca de 15k linhas, meu problema é que em uma das colunas mais importantes pra minha análise, os dados estão dispostos de maneira muito confusa.
A coluna se trata da reclamação que motivou um processo, por exemplo: dano moral.

Acontece que em todas linhas o mesmo tipo de reclamação está escrito de maneiras diferentes (ex: dano moral, danos morais), alguém pode me dar uma luz em como normalizar essa coluna?

inserir a descrição da imagem aqui

Nessa terceira parte da imagem, estão as motivações do processo, e como vocês podem ver existem milhares de variáveis.

2
  • Precisamos de um exemplo mais completo dos dados. Se a base se chama dados por favor ponha na pergunta o output de dput(head(dados, 30)). Ou de algo representativo dos dados. Commented 26/09/2017 às 18:32
  • Crie uma outra coluna lendo sua coluna base com a função grep("dano moral|danos morais", coluna, ignore.case = TRUE) Commented 26/09/2017 às 18:36

1 Resposta 1

4

Huuum, já estive no seu lado. Eu diria que você tem duas opções:

  • com base em um análise dos termos usados, criar uma função que normaliza eles, no estilo de bilhares CASE WHEN do SQL, ou if_else do R ou dplyr::case_when.

  • com base em similaridade de strings eu tentaria colocar as que tem mais de um certo números de caracteres e mais de x% de similaridade com um mesmo termo. Em R tem o pacote stringdist que faz isso.

A opção 1 me parece mais "correta" em termos de critério para classificação dos motivos. Por isso vou falar um pouco mais de como faria ela.

Como eu faria a opção 1

Como seria uma análise contagem de termos, eu usaria os recursos do pacote tidytext para contar essas palavras e obter os 2-grams e 3-grams que são mais comuns e tentatia colocar os mais parecidos (e iguais dependendo do seu conhecimento de domínio). Com isso eu acho que vc conseguiria matar boa parte do problema. Os casos muito granulares, eu colocaria numa categoria 'outros' sem peso na consciência.

Como ficaria o código

Vou deixar um snipet de como eu escreveria esse código, usando os pacotes stringr, dplyr e purrr.

library(dplyr)
library(purrr)
library(stringr)

## dados para teste
toy_df <- tibble(motivo = c('danos morais', 'dano moral', 'danos materiais', 'dano x'))

## dados para facilitar a criação de vetores
make_vector <- function(string) stringr::str_split(string, pattern = ', ') %>% purrr::as_vector()


## a transformação em si

toy_df %>% 
mutate(classe = case_when(
  motivo %in% make_vector('dano moral, danos morais, danos whatever') ~ 'dano_moral',
  motivo %in% make_vector('danos materiais, dano material') ~ 'dano_material',       
  TRUE ~ 'outros'     
))

Eu prefiro o uso do dplyr::case_when pois ele é vetorizado e acaba processando dados volumosos um pouco mais rápido. A sintaxe, apesar de estranha, é mais funcional que a do if_else (onde vc ficaria repetindo if_else pra tudo quanto é lado).

A função make_vector esta aí só para facilitar a criação de vetores de strings com uma sintaxe mais limpa. Num mundo perfeito esses vetores que serviram para colocar os motivos na mesma classes sairíam de uma análise sua, ou algo asism.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .