Este problema é bastante complexo e precisa de dois estágios. O primeiro estágio consiste em corrigir erros de digitação de uma base de dados(talvez uma solução probabilística). O segundo estágio consiste em arrumar esta base de dados depois desta correção. Este segundo estágio requer uma sequência de aplicações do pacote dplyr(ou outro pacote adequado e elegante)
Vamos ao primeiro estágio. Eu tenho uma base de dados de uma empresa. A base de dados disponibilizada não revela completamente a identidade do trabalhador. Vou exemplificar a base para depois explicar as variáveis.
data <- read.table(text="
cpf;nome;m1;m2;m3;m4;m5;m6;m7;m8;m9;m10;m11;m12;salario
100001;Maria dos Santos Magalhães;1;0;0;0;0;0;0;0;1;0;0;0;1234
100001;Maria Santos Magalhães;0;1;1;1;1;1;1;1;0;1;1;1;1034
100002;Lucas Barbosa;1;1;1;1;1;1;1;1;1;1;1;1;4234
100002;Danilo Carvalho;1;1;1;1;1;1;1;1;1;1;1;0;7234
100003;Paulo Silva de Fonseca;0;1;1;1;1;1;1;1;1;1;1;0;1254
100003;Paulo Silva da Fonseca;0;0;0;0;0;0;0;0;0;0;0;1;2234
100003;Wagner Silva Junior;1;1;1;0;0;0;0;0;0;0;0;0;4234
100003;Paulo Silva Fonseca;1;0;0;0;0;0;0;0;0;0;0;0;1232
100004;Ricardo Colho;1;1;1;1;1;1;1;0;1;1;1;0;5234
100004;Ricardo Coelho;0;0;0;0;0;0;0;1;0;0;0;1;1234", h=T, sep=";")
Explicando as variáveis. Primeiro, não temos o cpf completo, só temos os 6 números do meio. A variável "nome" dispensa explicações. As variáveis do tipo m1,m2,m3, etc são os meses. Estas variáveis são binárias e 1 representa que o trabalhador trabalhou no mês em questão e 0 que não trabalhou. A variável "salario" é o valor que o trabalhador ganhou nos messes trabalhados. Os dados aqui apresentados são fictícios.
Primeira coisa a ser observada olhando cada grupo de cpfs é que existe erros de digitação. Por exemplo, o grupo cujo número do meio de cpf é 100001, temos com grande chance de que Maria dos Santos Magalhães e Maria Santos Magalhães sejam a mesma pessoa. Uma outra evidência é que se fosse duas pessoas diferentes, provavelmente teriam meses de trabalho em comum, como é o caso do cpf 100002, onde Lucas Barbosa e Danilo Carvalho são pessoas diferentes. Os outros casos seguem a mesma explicação.
Preciso de algum algoritmo que me indique, por exemplo, que Maria dos Santos Magalhães e Maria Santos Magalhães são, como probabilidade alta, a mesma pessoa. Assim como Lucas Barbosa e Danilo Carvalho são praticamente pessoas diferentes.
Uma tentativa usando adist:
teste<- data[data$cpf == 100003 , ]
(ch1<- teste$nome)
[1] Paulo Silva de Fonseca Paulo Silva da Fonseca Wagner Silva Junior
[4] Paulo Silva Fonseca
10 Levels: Danilo Carvalho Lucas Barbosa ... Wagner Silva Junior
(d1 <- ch1 %>% adist())
[,1] [,2] [,3] [,4]
[1,] 0 1 14 3
[2,] 1 0 14 3
[3,] 14 14 0 11
[4,] 3 3 11 0
Vou excluir os que tem distância zero e menor que 5 como padrão. Mas antes vou dar nome às linhas e colunas.
(d1<- as.data.frame(d1))
names(d1)<- ch1
row.names(d1)<- ch1
thresh=5
(teste<- which(d1 != 0 & d1 < thresh, arr.ind=TRUE) )
row col
Paulo Silva da Fonseca 2 1
Paulo Silva Fonseca 4 1
Paulo Silva de Fonseca 1 2
Paulo Silva Fonseca 4 2
Paulo Silva de Fonseca 1 4
Paulo Silva da Fonseca 2 4
Reparem que neste caso particular, Wagner Silva Junior não tem nenhuma ligação com os outros. A partir de agora, começa o segundo estágio: Com esta matriz de distâncias, eu gostaria de fazer uma série de manipulações de maneira a arrumar os nomes, os meses trabalhados e o salário. Em resumo, gostaria de algo como isto:
cpf nome m1 m2 m3 m4 m5 m6 m7 m8 m9 m10 m11 m12 salario
2 100001 Maria Santos Magalhães 1 1 1 1 1 1 1 1 1 1 1 1 2268
3 100002 Lucas Barbosa 1 1 1 1 1 1 1 1 1 1 1 1 4234
4 100002 Danilo Carvalho 1 1 1 1 1 1 1 1 1 1 1 0 7234
5 100003 Paulo Silva de Fonseca 1 1 1 1 1 1 1 1 1 1 1 1 4720
7 100003 Wagner Silva Junior 1 1 1 0 0 0 0 0 0 0 0 0 4234
9 100004 Ricardo Colho 1 1 1 1 1 1 1 1 1 1 1 1 6468
Acredito que uma série de funções usando o dplyr possa resolver este segundo estágio