0

Constantemente tenho que carreguei um data frame com mais de 6 milhões de registros e 40 variáveis (colunas). Destes registros, preciso selecionar apenas um registro por paciente e que este registro seja o mais significantes possível. Essa significância é baseada nas variáveis: "Paciente", "ResultadodoExame" e "ResultadoComplementar", seguindo um critério de prioridade (1, 2, 3 e 4) de ordenação. Quanto menor o número (ordem - antes do início os dados) maior é a prioridade.

Por exemplo: a prioridade dos dados da variável "Resultados" é na seguinte ordem:

1-Pos, 2-Neg, 3-Inter e 9-Vazio

e da variável "ResultadoComplementar" é na ordem:

1-DN1, 2-DN2, 3-DN3, 4-DN4 e 9-Vazio.

A partir dessa variável, preciso criar um filtro marcando com "0" ou "1", sendo o "1" para o registro significante.

Preciso realizar outras tarefas, que depende de todo o conjunto de dados, por isso é importante ter o filtro (variável).

O data frame baixo tem a simulação dos dados. preciso criar uma rotina que gere o campo (Variável) Filtro ("0" e "1"), lembrando que o "1" é sempre o significativo)

####Data frame
a=c("Matheus Fulano da Silva","Matheus Fulano da Silva","Fernandes Fulano da Silva","Fernandes Fulano da Silva","Fernandes Fulano da Silva","Fernandes Fulano da Silva","Manuel Fulano da Silva","Manuel Fulano da Silva","Manuel Fulano da Silva","Manuel Fulano da Silva","Manuel Fulano da Silva", "Carlos Fulano da Silva","Carlos Fulano da Silva","Carlos Fulano da Silva","Carlos Fulano da Silva","Joao Fulano da Silva","Joao Fulano da Silva","Joao Fulano da Silva","Joao Fulano da Silva")

b=c("9-Vazio","3-Inter","2-Neg","1-Pos","1-Pos","3-Inter","1-Pos","1-Pos","9-Vazio","2-Neg","3-Inter","1-Pos","2-Neg","9-Vazio","1-Pos","2-Neg","3-Inter","1-Pos","2-Neg")

c=c("9-Vazio","9-Vazio","9-Vazio","2-DN2","1-DN1","9-Vazio","1-DN1","1-DN1","9-Vazio","9-Vazio","9-Vazio","9-Vazio","9-Vazio","9-Vazio","1-DN1","2-DN2","3-DN3","9-Vazio","9-Vazio")

#meu data frame
d=data.frame(a,b,c)
names(d)<-c("Paciente","ResultadoExame","ResultadoComplementar")

# preciso criar uma função para gerar o filtro
d=c("0","1","0","0","1","0","1","0","0","0","0","0","0","0","1","0","0","1","0")
#Objetivo final
d=data.frame(a,b,c,d)
names(d)<-c("Paciente","ResultadoExame","ResultadoComplementar","filtro")

Desde já, meu muito obrigado.

Abraço

2
  • 1
    Perceba que na verdade você quer criar um indicador, para posteriormente aplicar um filtro. Como este futuro indicador depende de 3 variáveis, eles tem o mesmo peso? A soma das 3 pode ser um bom indicador de significância?
    – bbiasi
    Commented 3/06/2019 às 20:42
  • Olá mouradev. Inicialmente pensei nesse indicador (soma), mas não deu certo porque há casos que posso ter no mesma paciente (duas linhas de resultados) que o total da somo será a mesma. Por exemplo, um 2-Neg na primeira linha do paciente, e na segunda linha do paciente 3-In... Commented 3/06/2019 às 22:25

1 Resposta 1

0

Perceba que a linha de nome 18 e a linha de nome 12 tem as mesmas características, mas resultados diferentes para o filtro que você disponibilizou como exemplo, isto pode criar viés para seu objetivo.

inserir a descrição da imagem aqui

De todo modo, perceba que com manipulação de dados é possível criar um indicador para o resultado e filtrar os pacientes.

Inicialmente modifiquei o ResultadoExame e ResultadoComplementar para números. Criei uma espécie de peso para resultados vazios (vazior1 e vazior2) e depois fiz a soma.

Filtrei as menores somas, depois removi as duplicatas de resultado por paciente. Obtive os mesmos resultados, entretanto o paciente da linha 15 do data frame d é o mesmo da linha 12.

  • Manipulando os dados do data frame d para gerar os resultados.
# manipulacao para gerar indice/filtro
library(dplyr)
library(data.table)
df <- d %>% 
  dplyr::mutate(ResultadoExame = ifelse(ResultadoExame == "9-Vazio", 9, ResultadoExame),
                ResultadoComplementar = ifelse(ResultadoComplementar ==  "9-Vazio", 9, ResultadoComplementar),
                vazio = ifelse(ResultadoExame == 9 & ResultadoComplementar == 9, 10, 1),
                vazior1 = ifelse(ResultadoExame == 9, 0, 1),
                vazior2 = ifelse(ResultadoComplementar == 9, 0, 1),
                Resultado = ifelse(ResultadoExame == 9 & ResultadoComplementar == 9, 100, # 100 => valor qualquer considerado alto
                                   (ResultadoExame*vazior1 + ResultadoComplementar*vazior2)*vazio)) %>% 
  dplyr::select(Paciente, ResultadoExame, ResultadoComplementar, Resultado) %>% 
  dplyr::mutate(linha_d = 1:nrow(d)) %>% 
  dplyr::filter(Resultado < 10) %>% 
  dplyr::arrange(ResultadoExame, ResultadoComplementar, Resultado) %>% 
  as.data.table()
df <- df[, .SD[which.min(Resultado)], by = Paciente]
df

O data frame com os resultados dos pacientes que devem ser atendidos prioritariamente.

> df
                    Paciente ResultadoExame ResultadoComplementar Resultado linha_d
1: Fernandes Fulano da Silva              1                     1         2       5
2:    Manuel Fulano da Silva              1                     1         2       7
3:    Carlos Fulano da Silva              1                     9         1      12
4:      Joao Fulano da Silva              1                     9         1      18
5:   Matheus Fulano da Silva              3                     9         3       2
  • Retornando a resposta para o data frame d.
d <- d %>% 
  dplyr::mutate(linha_d = 1:nrow(d)) %>% 
  dplyr::left_join(df, by = "linha_d") %>% # inserindo dados a partir do df
  dplyr::select(Paciente.x, ResultadoExame.x, ResultadoComplementar.x, Resultado) %>% 
  dplyr::mutate(Resultado = ifelse(is.na(Resultado), 0 , 1)) %>% 
  dplyr::rename("Paciente" = Paciente.x, 
                "ResultadoExame" = ResultadoExame.x, 
                "ResultadoComplementar" = ResultadoComplementar.x)
dplyr::sample_n(tbl = d, 5)
> dplyr::sample_n(tbl = d, 5)
                   Paciente ResultadoExame ResultadoComplementar Resultado
1 Fernandes Fulano da Silva          1-Pos                 1-DN1         1
2      Joao Fulano da Silva        3-Inter                 3-DN3         0
3   Matheus Fulano da Silva        3-Inter               9-Vazio         1
4      Joao Fulano da Silva          1-Pos               9-Vazio         1
5      Joao Fulano da Silva          2-Neg                 2-DN2         0

  • Dados utilizados.
# seus dados
a = c("Matheus Fulano da Silva","Matheus Fulano da Silva","Fernandes Fulano da Silva",
    "Fernandes Fulano da Silva","Fernandes Fulano da Silva","Fernandes Fulano da Silva",
    "Manuel Fulano da Silva","Manuel Fulano da Silva","Manuel Fulano da Silva",
    "Manuel Fulano da Silva","Manuel Fulano da Silva", "Carlos Fulano da Silva",
    "Carlos Fulano da Silva","Carlos Fulano da Silva","Carlos Fulano da Silva",
    "Joao Fulano da Silva","Joao Fulano da Silva","Joao Fulano da Silva","Joao Fulano da Silva")
b = c("9-Vazio","3-Inter","2-Neg","1-Pos","1-Pos","3-Inter","1-Pos","1-Pos","9-Vazio",
    "2-Neg","3-Inter","1-Pos","2-Neg","9-Vazio","1-Pos","2-Neg","3-Inter","1-Pos","2-Neg")
c = c("9-Vazio","9-Vazio","9-Vazio","2-DN2","1-DN1","9-Vazio","1-DN1","1-DN1","9-Vazio",
    "9-Vazio","9-Vazio","9-Vazio","9-Vazio","9-Vazio","1-DN1","2-DN2","3-DN3","9-Vazio","9-Vazio")
d = data.frame(Paciente = a, ResultadoExame = b, ResultadoComplementar = c)
4
  • Obrigado pela resposta, @bbiasi. Commented 4/06/2019 às 13:06
  • Atualmente utilizo um procedimento para criar esse filtro, mas tenho que criar 2 data frame. eu utilizo o código abaixo.#meu data frame d=data.frame(a,b,c) #criando indice (sequencia) d=d[order(d$a,d$b,d$c),] d$e=(1:nrow(d)) names(d)<-c("Paciente","ResultadoExame","ResultadoComplementar","Sequencia") View(d) #selecionando pacientes sem duplicidade library(dplyr) e=d %>% distinct(Paciente, .keep_all = TRUE) e$filtro='1' View(e) #incluindo filtro no data frame d <-d %>% left_join(e) #tratando os valores "NA" d$filtro=ifelse(is.na(d$filtro), "0", d$filtro) View(d) Commented 4/06/2019 às 13:19
  • Editei a resposta.
    – bbiasi
    Commented 4/06/2019 às 20:47
  • **Obrigado, @bbiasi ** Commented 6/06/2019 às 14:42

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .