2

Bom dia, estou com um grande problema de falha de dados no meu df. Preciso encontrar o valor de CO2 parecido com o de outro horário utilizando condições que não estou conseguindo fazer com as informações da linha. Possuo um df de 1 ano com valores de 30 em 30 minutos. os valores de Temperatura e Radiação não possuem faltantes, apenas tenho valores faltantes no CO2.

import numpy as np
import pandas as pd

df = pd.read_hdf('./dados.hd5')

df.head()

Year_DoY_Hour          Temperatura    radiacao        CO2
2016-01-01 00:00:00    22.44570        0              380
2016-01-01 00:30:00    22.445700       0              390 
.
.
2016-01-15 00:00:00    22.88300        0              379
2016-01-15 00:30:00    22.445700       0              381 
2016-01-15 01:00:00    22.388300       0              NaN
.
.
.
2016-01-30 00:00:00    22.400000       0              350       
2016-01-30 00:30:00    16.393900       0              375                
2016-01-30 01:00:00    17.133900       0              365 
  • (a)Temperatura deve estar entre +- 2.5ºC;
  • (b)Radiação +- 50W/m²;
  • Tenho que ter uma janela de -+ 3 dias entre o valor com NaN de CO2.
  • Calcular a média dos valores de CO2 quando (a) e (b) forem aceitas na condição e colocar onde tenho o dado faltante de CO2.

No df apresentado acima temos que para o dia e horário 2016-01-15 01:00:00 temos NaN no CO2 e então não consigo encontrar uma Temp. e radia. para preencher o valor de CO2. Acredito que com condições eu consigo fazer, mas não estou conseguindo.

2
  • 1
    Olá! Sua pergunta não foi muito clara. Você quer poder ler o seu arquivo e tratar uma exceção quando a leitura encontrar o NaN? 21/03/2017 às 15:53
  • Olá! Isso mesmo, quando encontrar NaN no CO2 ele pega naquele mesmo horário a temperatura e radiação e procura nos últimos 3 dias e nos próximos valores parecidos. 21/03/2017 às 16:07

2 Respostas 2

2

Lucas, esse processo chama-se interpolação.

Como seus dados estão no formato de dataframe, dê uma olhada no docs. E dê uma olhada também na parte que fala sobre Como Trabalhar com Dados Faltantes.

De acordo com o docs, tente rodar o comando:

df['CO2'].interpolate()

Também pode definir qual o método de interpolação a ser utilizado:

method : {‘linear’, ‘time’, ‘index’, ‘values’, ‘nearest’, ‘zero’,
‘slinear’, ‘quadratic’, ‘cubic’, ‘barycentric’, ‘krogh’, ‘polynomial’, ‘spline’, ‘piecewise_polynomial’, ‘from_derivatives’, ‘pchip’, ‘akima’}

Ex.:

df['CO2'].interpolate(method='linear')]

Além disso, você também pode incorporar cláusulas condicionais para interpolar obedecendo determinadas condições.

1
  • 1
    Este método já fiz, mas agora preciso fazer com essas condições que escrevi acima. 22/03/2017 às 18:48
1
# Cria um index dos valores que são Nan
nan_index = df[df.isnull()].index
# Para todos os Nans
for i in range(df.isnull().sum()):
    # Extrai os valores da outra coluna que você quer procurar
    dado_nan = df[['coluna']][df.isnull()].iloc[i].values()
    # Substitui com as médias dos valores dentro da faixa desejada
    df['novaColuna'][nan_index[i]] = df[abs(df.coluna - dado_nan[0]) < 2.5].mean()
1

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .