Possuo um DataFrame com algumas colunas (estou representando apenas duas neste post). Preciso preencher os NaN de uma das colunas com determinados valores de outra. Veja abaixo:
Criando o DataFrame de teste
>>> import pandas as pd
>>> df = pd.DataFrame({"base": [2, 2, 3, 3, 4, 4, 5, 5], "valores":[3, None, 100, 3, None, None, 15, None]})
>>> df
base valores
0 2 3.0
1 2 NaN
2 3 100.0
3 3 3.0
4 4 NaN
5 4 NaN
6 5 15.0
7 5 NaN
A saída que espero:
>>> df
base valores
0 2 3.0
1 2 3.0 # valor da coluna base referente ao índice 3
2 3 100.0
3 3 3.0
4 4 5.0 # valor da coluna base referente ao índice 6
5 4 5.0 # valor da coluna base referente ao índice 6
6 5 15.0
7 5 NaN # nenhum valor posterior
Ou seja, para cada valor NaN encontrado, substituir pelo próximo valor válido. No caso do último, caso este seja NaN, mantê-lo.
O que tentei
Tentei utilizar o método fillna()
o qual atualizaria os NaN com determinado valor fixo ou o subsequente not-NaN da mesma coluna caso method='bfill'
conforme abaixo
>>> df["valores"].fillna(method='bfill')
0 3.0
1 100.0
2 100.0
3 3.0
4 15.0
5 15.0
6 15.0
7 NaN
Também tentei utilizar o método fillna()
buscando os valores da "base" conforme abaixo:
>>> df["valores"].fillna(df["base"])
0 3.0
1 2.0
2 100.0
3 3.0
4 4.0
5 4.0
6 15.0
7 5.0
Name: valores, dtype: float64
Entretanto os valores recebidos são do mesmo índice
Preciso juntar as duas funcionalidades ou outra forma para chegar ao resultado.
Outras ideias
Em tempo: Outro método que pensei que pudesse ajudar é o isna()
ou notna()
>>> df["valores"].isna()
0 False
1 True
2 False
3 False
4 True
5 True
6 False
7 True
Name: valores, dtype: bool