6

Estou iniciando no aprendizado de R e me deparei com uma situação que não estou entendendo. Baixei os dados do ENEM 2014 (arquivo CSV) e fiz a leitura usando:

dados_enem <- read.csv(file="MICRODADOS_ENEM_2014.csv", header = TRUE, sep = ",")

Quando peço para calcular a máxima, mínima ou média de um determinado campo numérico, ele retorna perfeitamente. Por exemplo, o campo NU_NOTA_REDACAO:

max(dados_enem$NU_NOTA_REDACAO)  
min(dados_enem$NU_NOTA_REDACAO)  
mean(dados_enem$NU_NOTA_REDACAO)

    > max(dados_enem$NU_NOTA_REDACAO)  
    [1] 1000  
    > min(dados_enem$NU_NOTA_REDACAO)  
    [1] 0  
    > mean(dados_enem$NU_NOTA_REDACAO)  
    [1] 323.4219 

Porém, ao fazer o mesmo para os campos NOTA_CN ou NOTA_CH, ambos do mesmo formato que o NU_NOTA_REDACAO, me é exibido NA:

max(dados_enem$NOTA_CN)  
min(dados_enem$NOTA_CN)  
mean(dados_enem$NOTA_CN) 

max(dados_enem$NOTA_CN)
[1] NA
min(dados_enem$NOTA_CN)
[1] NA
mean(dados_enem$NOTA_CN)
[1] NA

Já tentei forçar a conversão para numérico, mas o resultado foi o mesmo:

dados_enem$NOTA_CN = as.numeric(as.character(dados_enem$NOTA_CN))
max(dados_enem$NOTA_CN)
[1] NA

O arquivo é bem grande (quase 9 milhões de registros e 166 colunas, mas segue uma amostra dos dados desta coluna:

[4513]    NA    NA 462.1 483.1 541.7    NA 527.8    NA    NA 456.9 639.5 527.9 535.1    NA    NA    NA  
 [4529] 505.7 389.3 391.7 764.9 527.5 459.3 481.1    NA 438.7 609.3 591.8 438.3 538.2    NA 493.5    NA  
 [4545]    NA 396.8    NA 486.3 566.1    NA    NA    NA 529.8 620.5 477.0 404.4 446.2 547.4    NA 460.5  
 [4561]    NA    NA 541.8    NA    NA 544.2 605.2 584.5    NA    NA 523.2 541.7    NA 523.1 528.7    NA  

O que estou fazendo de errado?

Grato a todos!

6
  • 2
    Vc tentou excluindo as linhas com NA? Vc pode usar dados_enem = na.omit(dados_enem) ou fazer a chamada de cálculo da seguinte forma: mean(dados_enem$NOTA_CN, na.rm=TRUE). Mais detalhes aqui: statmethods.net/input/missingdata.html 25/02/2016 às 14:50
  • 1
    Perfeito! Funcionou com a opção na.rm=TRUE. Muito grato! Uma dúvida, quando eu uso a opção na.omit(), ele apensa ignora os dados nulos ou os remove?
    – Sandro
    25/02/2016 às 15:08
  • 3
    @Sandro com o na.omit os dados são removidos do objeto. Além disso, é importante lembrar que ele exclui todas as linhas que possuem pelo menos um valor NA. 25/02/2016 às 15:11
  • 2
    No seu caso, por exemplo, a nota parece ser bastante importante. Então, uma linha em que tem NA justamente nessa coluna talvez possa ser totalmente eliminada porque os demais dados daquela linha tornar-se-iam inúteis pra análise que vc quer fazer. 25/02/2016 às 18:08
  • 2
    Entendi @LuizVieira, grato pela explicação!
    – Sandro
    25/02/2016 às 18:50

1 Resposta 1

4

Tente o seguinte:

max(dados_enem$NOTA_CN, na.rm = TRUE)  
min(dados_enem$NOTA_CN, na.rm = TRUE)  
mean(dados_enem$NOTA_CN, na.rm = TRUE)

Por padrão, essas funções retornam resultado NA quando existem dados NA no vetor. Você precisa explicitamente avisar que deseja excluí-los do resultado.

Isso confunde muito quem está começando no R pois, inclusive não existe um padrão entre as suas funções. Por exemplo, a função summary e a função table por padrão ignoram a presença de NA's

8
  • 1
    @Sandro, depende muito do que você quer. Muitas vezes NA's representam alguma informação que poderia ser usada no cálculo da média e não devem necessariamente ser excluidos. 25/02/2016 às 15:13
  • 1
    Entendo, mas, com o perdão da ignorância, se os campos contendo NA impedem o cálculo da média, já que a função retorna NA quando os encontra, como eles poderiam ser incluídos neste cálculo? Não sei se entendi bem...
    – Sandro
    25/02/2016 às 15:19
  • 1
    @Sandro O default FALSE é mais prudente. Ele evita que uma função sobre 1000 valores em que 900 são NA retorne um resultado numérico como se não houvessem valores faltantes, gerando uma informação possivelmente incorreta ou tendenciosa. A exigência da definição de na.rm = TRUE explicitamente faz com que o programador assuma o risco de ignorar os valores NA.
    – Molx
    26/02/2016 às 4:04
  • 1
    Daniel, acho uma boa ideia sempre usar FALSE e TRUE nas respostas, como recomendado em diversos lugares. T e F são apenas variáveis que podem ser modificadas e gerar problemas. Isso é especialmente importante para novatos, que podem não entender o que está acontecendo.
    – Molx
    26/02/2016 às 4:06
  • 1
    Em tempo: table só conta as ocorrências, e pode contar NAs também, então não corre os riscos que citei acima. summary informa o número de NAs, quando existem, o que não é tão silencioso como um na.rm = TRUE default seria.
    – Molx
    26/02/2016 às 4:12

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .