3

Possuo um DataFrame com algumas colunas (estou representando apenas duas neste post). Preciso preencher os NaN de uma das colunas com determinados valores de outra. Veja abaixo:

Criando o DataFrame de teste

>>> import pandas as pd

>>> df = pd.DataFrame({"base": [2, 2, 3, 3, 4, 4, 5, 5], "valores":[3, None, 100, 3, None, None, 15, None]})

>>> df
   base  valores
0     2      3.0
1     2      NaN
2     3    100.0
3     3      3.0
4     4      NaN
5     4      NaN
6     5     15.0
7     5      NaN

A saída que espero:

>>> df
   base  valores
0     2      3.0
1     2      3.0   # valor da coluna base referente ao índice 3
2     3    100.0
3     3      3.0
4     4      5.0   # valor da coluna  base referente ao índice 6
5     4      5.0   # valor da coluna base referente ao índice 6
6     5     15.0
7     5      NaN   # nenhum valor posterior

Ou seja, para cada valor NaN encontrado, substituir pelo próximo valor válido. No caso do último, caso este seja NaN, mantê-lo.

O que tentei

Tentei utilizar o método fillna() o qual atualizaria os NaN com determinado valor fixo ou o subsequente not-NaN da mesma coluna caso method='bfill' conforme abaixo

>>> df["valores"].fillna(method='bfill')
0      3.0
1    100.0
2    100.0
3      3.0
4     15.0
5     15.0
6     15.0
7      NaN

Também tentei utilizar o método fillna() buscando os valores da "base" conforme abaixo:

>>> df["valores"].fillna(df["base"])
0      3.0
1      2.0
2    100.0
3      3.0
4      4.0
5      4.0
6     15.0
7      5.0
Name: valores, dtype: float64

Entretanto os valores recebidos são do mesmo índice

Preciso juntar as duas funcionalidades ou outra forma para chegar ao resultado.

Outras ideias

Em tempo: Outro método que pensei que pudesse ajudar é o isna() ou notna()

>>> df["valores"].isna()
0    False
1     True
2    False
3    False
4     True
5     True
6    False
7     True
Name: valores, dtype: bool

2 Respostas 2

3

É possível criar uma Series temporária apenas com valores da coluna base onde valores não é nulo com os comandos .mask, .isna e.bfill. Com essa Series em uma variável é possível passa-la dentro do comando fillna para substituir os valores da coluna valores

temp = df['base'].mask(df['valores'].isna()).bfill()
df['valores'] = df['valores'].fillna(temp)
df.head(10)

#saida
    base    valores
0   2       3.0
1   2       3.0
2   3       100.0
3   3       3.0
4   4       5.0
5   4       5.0
6   5       15.0
7   5       NaN

O comando mask aqui retorna uma Series do mesmo tamanho do DF, mas onde a condição for verdadeira (df['valores'].isna()) fica como nulo, segue alguns resultados do passo a passo.

Comando mask com isna

df['base'].mask(df['valores'].isna())
#saida:
0    2.0
1    NaN
2    3.0
3    3.0
4    NaN
5    NaN
6    5.0
7    NaN

Comando mask, isna e bfill

df['base'].mask(df['valores'].isna()).bfill()
#saida:
0    2.0
1    3.0
2    3.0
3    3.0
4    5.0
5    5.0
6    5.0
7    NaN
3

Uma possibilidade é cria um dicionário group a partir do data frame df onde as chaves são os valores sem duplicatas da coluna base e os respectivos valores de chave são um dicionário apontando para os índice das linhas de df cujo base é a chave e valores é diferente de NAN.

Depois aplique o transformador replace() da primeira a penúltima linha de df, transformador esse que aceita três parâmetros:

  • val: uma linha de para ser transformada.
  • g: um dicionário definido anteriormente.
  • df: que é o próprio data frame.

A cada linha de df é:

  • verificado se a linha val contém algum valor nulo.
    • se sim busca o próximo valor consecutivo válido de base pesquisando g.
    • Se não encontrar um próximo valor consecutivo de base retorna a proporia linha.
    • Troca o valor NAN pelo valor adequado cujo o índice está localizado em g.

Teste o exemplo

import pandas as pd


df = pd.DataFrame({
    "base": [2, 2, 3, 3, 4, 4, 5, 5], 
    "valores":[3, None, 100, 3, None, None, 15, None]
})


def replace(val, g, df):
    if pd.isna(val[1]):
        i= next((k for k in g if k > val[0]), None)
        if i == None:
            return val
        val[1] = df.iloc[g[i][-1:],0]
    return val 
  
  
group = df[df["valores"].notna()].groupby("base").groups             #{2: [0], 3: [2, 3], 5: [6]}
    
df["valores"] = df.transform(replace, 1, group, df)[0:-1]["valores"]

print(df)

#   base  valores
#0     2      3.0
#1     2      3.0
#2     3    100.0
#3     3      3.0
#4     4      5.0
#5     4      5.0
#6     5     15.0
#7     5      NaN

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .