-2

Boa noite.

Eu tenho uma tabela de 545 mil linhas e 2 colunas. Na coluna 1 eu tenho 2585 dados únicos, e na coluna 2, 25 mil dados únicos. Um pedaço dessa tabela é o seguinte fragmento:

Disease Factor
Parkinson Disease, Secondary Dengue
Parkinson Disease, Secondary MPTP Poisoning
Ischemic Attack, Transient Dopamine
Ischemic Attack, Transient Arrhythmias, Cardiac
Pregnancy Complications Diabetic Ketoacidosis
Pregnancy Complications Arrhythmias, Cardiac

Eu preciso transformar essa tabela em uma matriz binária, transformando as colunas "factor" em linhas. Dessa maneira:

Dengue MPTP Poisoning Dopamine Arrhythmias, Cardiac Diabetic Ketoacidosis
Parkinson Disease, Secondary 1 1 0 0 0
Ischemic Attack, Transient 0 0 1 1 0
Pregnancy Complications 0 0 0 1 1

Eu estava usando R (código abaixo), mas está demorando demais. Deixei 5 horas rodando e ele fez13 linhas da matriz. Alguém poderia me ajudar? Pode ser em Python tbm.

for (i in 2:2585) {
  linhas=grep(matrix[i,1],dados[,1])
  n=length(linhas)
  for (j in 1:n) {
    coluna=grep(dados[linhas[j],2],matrix[1,])
    matrix[linhas[j],coluna]=1
  }
}

------- dados é a tabela e matrix, seria a tabela transformada. Eu inicialmente zerei todas as entradas de matrix.
1
  • Você conhece SQL ou tem acesso a algum DBMS? Essa tabela está em que formato? Commented 10/11/2021 às 0:11

1 Resposta 1

-1

Em R, pode converter de formato longo para comprido, usando lenght como função agregadora. tidyr::pivot_wider, reshape2::dcast e data.table::dcast podem ser usados; para dados grandes, recomendo o último:

library(data.table)

dados <- fread(text = c("Disease;Factor
                         Parkinson Disease, Secondary;Dengue
                         Parkinson Disease, Secondary;MPTP Poisoning
                         Ischemic Attack, Transient;Dopamine
                         Ischemic Attack, Transient;Arrhythmias, Cardiac
                         Pregnancy Complications;Diabetic Ketoacidosis
                         Pregnancy Complications;Arrhythmias, Cardiac"))

dados.w <- dcast(dados, Disease ~ Factor, length)

dados.w
#>                         Disease Arrhythmias, Cardiac Dengue Diabetic Ketoacidosis Dopamine MPTP Poisoning
#> 1:   Ischemic Attack, Transient                    1      0                     0        1              0
#> 2: Parkinson Disease, Secondary                    0      1                     0        0              1
#> 3:      Pregnancy Complications                    1      0                     1        0              0

Se seus dados estão em arquivo de texto plano, carregar com fread é a maneira mais eficiente. Se Já tiver os dados carregados como data.frame, pode setá-los como data.table com setDT(dados), ou indique as.data.table ao rodar o dcast:

dcast(as.data.table(dados), Disease ~ Factor, length)
2

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .