1

Boa dia,tenho um DF onde possui NaN e preciso contar quantos NaN tenho em cada horário. Meu df tem um período de 31 dias. Acredito que devo usar Groupby, porém não estou achando uma forma.

import numpy as np
import pandas as pd

df = pd.read_hdf('./dados.hd5')

df.head()

Year_DoY_Hour          Temperatura
2016-01-01 00:00:00    NaN
2016-01-01 01:00:00    22.445700
2016-01-01 02:00:00    22.388300
2016-01-01 03:00:00    22.400000
2016-01-01 04:00:00    NaN
2016-01-01 05:00:00    22.133900
2016-01-01 06:00:00    21.948999
2016-01-01 07:00:00    21.787901
2016-01-01 08:00:00    21.610300
2016-01-01 09:00:00    NaN
.
.
.
2016-31-01 00:00:00    NaN
2016-31-01 01:00:00    21.310800
2016-31-01 02:00:00    22.910700
2016-31-01 03:00:00    23.810600
2016-31-01 04:00:00    NaN

Podemos ver que no horário 00:00:00 temos 2 NaN e no 03:00:00 temos 1 NaN e no 04:00:00 temos 2 NaN

3
  • Podes colocar o ficheiro em algum lado que se possa fazer download e testar?. Não estou familiarizado com hd5 mas acho que te consigo ajudar com o groupBy
    – Miguel
    17/03/2017 às 14:41
  • Pode ser .csv, isso não tem problema. O problema é eu aplicar isso no df. 17/03/2017 às 15:26
  • Ok vou fazer com csv a ver se te consigo ajudar
    – Miguel
    17/03/2017 às 15:30

2 Respostas 2

4

A resposta que você tem está correta, mas não usa o Pandas (que foi o que você utiliza e perguntou). Eis uma que usa o Pandas então. :)

Basicamente a ideia é fazer o agrupamento definindo rótulos que usem a data (ano, mês e dia) e apenas a hora. O resto (minutos e segundos) você ignora. Dessa forma, cada agrupamento terá todas as entradas da mesma hora, e então é só contar o número de nulos (NaN). Uma questão importante é que a função de agrupamento espera uma função (ou lambda, como no caso do exemplo) que vai receber o índice da tabela. Logo, faz sentido converter a coluna de data/hora para DateTime primeiramente, e então transformá-la no índice da tabela. Assim você pode processar esse valor diretamente na função/lambda.

Eis um exemplo de código (documentado passo-a-passo):

import pandas as pd

# Somente para a leitura dos dados de teste
df = pd.read_csv('teste.csv', sep=',')

# Converte os dados da coluna data/hora para o formato DateTime
df['Year_DoY_Hour'] = pd.to_datetime(df['Year_DoY_Hour'], format='%Y-%d-%m %H:%M:%S')

# Converte a coluna da data/hora para o índice da tabela
df = df.set_index('Year_DoY_Hour')

# Imprime os dados originais
print('Original:')
print('-' * 40)
print(df)

# Agrupa os dados pelo índice em rótulos do tipo "ano-dia-mês hora:00:00"
grouped = df.groupby(
                     lambda index: '{:04d}-{:02d}-{:02d} {:02d}:00:00' \
                     .format(index.year, index.day, index.month, index.hour)
                    )

# Faz a contagem para cada agrupamento e imprime
print('\n')
print('Contagem de NaNs por hora:')
print('-' * 40)
for label, group in grouped:
    # Conta o número de NaNs (nulos) na coluna `Temperatura` do grupo atual
    numNaNs = len(group[group['Temperatura'].isnull()])
    # Imprime a contagem do grupo (com o respectivo rótulo)
    print('{}: {}'.format(label, numNaNs))

Usando como dados de entrada um CSV com:

Year_DoY_Hour,Temperatura
2016-01-01 00:00:00,NaN
2016-01-01 00:01:00,NaN
2016-01-01 00:18:22,22.388300
2016-01-01 00:55:00,NaN
2016-01-01 01:00:00,22.445700
2016-01-01 02:00:00,22.388300
2016-01-01 03:00:00,22.400000
2016-01-01 04:00:00,NaN
2016-01-01 05:00:00,22.133900
2016-01-01 06:00:00,21.948999
2016-01-01 07:00:00,21.787901
2016-01-01 08:00:00,21.610300
2016-01-01 09:00:00,NaN
2016-01-01 09:07:18,NaN
2016-01-01 09:44:00,21.310800
2016-31-01 02:00:00,22.910700
2016-31-01 03:00:00,23.810600
2016-31-01 04:00:00,NaN

O resultado é:

Original:
----------------------------------------
                     Temperatura
Year_DoY_Hour
2016-01-01 00:00:00          NaN
2016-01-01 00:01:00          NaN
2016-01-01 00:18:22    22.388300
2016-01-01 00:55:00          NaN
2016-01-01 01:00:00    22.445700
2016-01-01 02:00:00    22.388300
2016-01-01 03:00:00    22.400000
2016-01-01 04:00:00          NaN
2016-01-01 05:00:00    22.133900
2016-01-01 06:00:00    21.948999
2016-01-01 07:00:00    21.787901
2016-01-01 08:00:00    21.610300
2016-01-01 09:00:00          NaN
2016-01-01 09:07:18          NaN
2016-01-01 09:44:00    21.310800
2016-01-31 02:00:00    22.910700
2016-01-31 03:00:00    23.810600
2016-01-31 04:00:00          NaN


Contagem de NaNs por hora:
----------------------------------------
2016-01-01 00:00:00: 3
2016-01-01 01:00:00: 0
2016-01-01 02:00:00: 0
2016-01-01 03:00:00: 0
2016-01-01 04:00:00: 1
2016-01-01 05:00:00: 0
2016-01-01 06:00:00: 0
2016-01-01 07:00:00: 0
2016-01-01 08:00:00: 0
2016-01-01 09:00:00: 2
2016-31-01 02:00:00: 0
2016-31-01 03:00:00: 0
2016-31-01 04:00:00: 1
5
  • 2
    É verdade Luiz, realmente seria mais apropriado com pandas, mas não tenho a sua experiência nesse modulo
    – Miguel
    17/03/2017 às 16:58
  • 1
    @Miguel Não tem problema. A sua solução também é bacana e serve de referência/alternativa. :) 17/03/2017 às 16:59
  • 1
    Uma pergunta Luiz, onde define que é só por hora/min/sec que quer agrupar, e não por ano/dia/mês também?
    – Miguel
    17/03/2017 às 17:05
  • 1
    @Miguel Na função lambda utilizada para fazer o agrupamento. Ela recebe o índice de cada linha da tabela, e retorna um rótulo (label) único indicando o agrupamento. Como o índice é um DateTime, ela define o rótulo como '{:04d}-{:02d}-{:02d} {:02d}:00:00'.format(index.year, index.day, index.month, index.hour) (note o ":00:00" ali no final, para ignorar minutos e segundos - não era necessário, mas assim vai também pro rótulo final). Desse modo não somente a hora é considerada individualmente, mas em diferentes dias/meses/anos também. :) 17/03/2017 às 17:17
  • 2
    Sim, obrigado Luiz eu depois testei isso e consegui perceber que não era feito o agrupamento só por hora. Obrigado
    – Miguel
    17/03/2017 às 17:31
2

Não sei bem como é o formato na realidade de hd5 (pesquisei mas não consegui perceber), se for tal e qual como o que puseste em vez de fazeres ...split(',') como faço nos exemplos abaixo faz ....split(' ') (4 espaços). Formato do csv que usei para testes é:

2016-01-01 00:00:00,    NaN
2016-01-01 01:00:00,    22.445700
2016-01-01 02:00:00,    22.388300
2016-01-01 03:00:00,    22.400000
2016-01-01 04:00:00,    NaN
2016-01-01 05:00:00,    22.133900
2016-01-01 06:00:00,    21.948999
2016-01-01 07:00:00,    21.787901
...

Com groupby podes fazer assim:

from itertools import groupby

with open('tests.csv', 'r') as f:
    dados = [(l.split(',')[0], l.split(',')[1].strip()) for l in f]
print(dados) # [('2016-01-01 00:00:00', 'NaN'), ('2016-01-01 01:00:00', '22.445700'), ('2016-01-01 02:00:00', '22.388300'), ('2016-01-01 03:00:00', '22.400000'), ...]
dados_sort = sorted((k.split()[1], v) for k, v in dados) # importante
for hora, group in groupby(dados_sort, key=lambda x: x[0]):
    group = list(group)
    if any(v == 'NaN' for k, v in group):
        print('Existem {} NaN na hora {}'.format(len(group), hora))

Output do programa para os dados que deste:

Existem 2 NaN na hora 00:00:00
Existem 2 NaN na hora 04:00:00
Existem 1 NaN na hora 09:00:00



Mas sinceramente eu não faria assim neste caso (a não ser que fosse mesmo preciso), faria assim:

from collections import Counter

dados = {}
with open('tests.csv', 'r') as f:
    for l in f:
        hora, val = l.split(',') # hora e temperatura, deves ja ter isto devidido por linha no teu caso
        dados.setdefault(val.strip(), []).append(hora.split(' ')[1])
print(dados) # {'22.388300': ['02:00:00'], '23.810600': ['03:00:00'], '21.610300': ['08:00:00'], '22.400000': ['03:00:00'], '21.948999': ['06:00:00'], 'NaN': ['00:00:00', '04:00:00', '09:00:00', '00:00:00', '04:00:00'], '22.910700': ['02:00:00'], '22.445700': ['01:00:00'], '21.787901': ['07:00:00'], '22.133900': ['05:00:00'], '21.310800': ['01:00:00']}
print(Counter(dados['NaN']))

{'00:00:00': 2, '04:00:00': 2, '09:00:00': 1}

Ou, se não precisares armazenar os valores todos podes só:

from collections import Counter

list_NaN = []
with open('tests.csv', 'r') as f:
    for l in f:
        hora, val = l.split(',')
        if val.strip() == 'NaN':
            list_NaN.append(hora.split(' ')[1])
print(Counter(list_NaN))

{'00:00:00': 2, '04:00:00': 2, '09:00:00': 1}

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .