-1

Achei que o problema fosse simples, porém não me parece tão óbvio. Tenho duas colunas de um dataframe: df['Country'] e df['City']. Algumas células da coluna "City" possuem valores NaN e gostaria de substituir esses NaN por outros valores de acordo com o país. Por isso não quero usar o fillna() na coluna "City".

Como exemplo, para Singapura, tenho o seguinte comando e respectiva saída:

df[df['Country'] == 'Singapore']['City']
    
192    NaN
399    NaN
572    NaN
872    NaN
897    NaN
Name: City, dtype: object

Como todas as cidades estão preenchidas com NaN, foi fácil realizar a alteração para "Sing-other". Para isso usei a linha de comando:

df.loc[df['Country'] == 'Singapore', 'City'] = 'Sing-other'

No entanto, para cidades cujo país é Hong Kong, gostaria de substituir apenas os valores NaN por "HK-other", preservando os nomes das cidades existentes. Nesse caso, para Hong Kong, tem-se:

df[df['Country'] == 'Hong Kong']['City']

11                NaN
35     Cheung Sha Wan
349           Kowloon
559           Central
677               NaN
735               NaN
885               NaN
Name: City, dtype: object

Supondo que ainda tenha outros conjuntos de países/cidades a serem substituídos, não posso aplicar tão somente a substituição de NaN na coluna "City" inteira.

Assim, há alguma sugestão para alterar NaN para HK-other na coluna 'City', somente se o país for Hong Kong? Grato.

3 Respostas 3

2

Tu pode criar um dicionário com o valor que tu quer preencher os valores nulos para cada país e preencher apenas os valores nulos com os comandos fillna e map, desta forma:

d = {'Singapore': 'Sing-other',
     'Hong Kong': 'HK-other'}

df['City'] = df['City'].fillna(df['Country'].map(d))

Dessa forma fica mais facil extender a lista de países que tenham ocorrências nulas nas cidades do que uma estrutura de repetição.
Inclusive estruturas de repetiçao como for in devem ser evitadas sempre que possível por serem lentas e poderem causar gargalos na execução até com DataFrames pequenos

3
  • Testarei aqui. E, de fato, o que notei antes foi haver um problema, ou na leitura do df ou na fonte csv, pois o Pandas parecia reconhecer os valores ausentes, mas não ler. Gostei da sugestão de usar o map()! Commented 4/04/2022 às 16:52
  • @DaniloFranco Testa lá, se der tudo certo tu pode aceitar minha resposta :)
    – Terry
    Commented 4/04/2022 às 17:05
  • 1
    Resposta aceitadíssima! Rapaz, estou até agora vislumbrando essa linha de código. Vi algumas dicas parecidas nas minhas buscas, mas usavam sempre a mesma coluna. Nunca pensaria em utilizar como vc me mostrou, pois parece que irá alterar os valores da coluna 'Country'. Tentando entender , mas já felicíssimo pelo resultado. Gratíssimo! Commented 5/04/2022 às 1:08
1
for i in df.index:
    if df['Country'].iloc[i] == 'Hong Kong' and df['city'].iloc[I] == 'NaN':
        df['city'].iloc[i] = 'HK-other'
    else:
        pass

Experimenta essa condição simples. Talvez se você estiver pelo Jupyter pode ser capaz de dar um warning de slicing, mas vc pode se guiar por essa lógica pra adequar o código da melhor forma.

5
  • Então, revisando aqui, o código substitui todas as cidades por 'HK-other', inclusive as que não estavam como NaN. Estou tentando uma condição do tipo se país == 'Honk Kong' E cidade == 'NaN', ai sim ele altera a célula para 'HK-other'. Commented 3/04/2022 às 14:58
  • Experimente colocar então a segunda condição ( City == "NaN") como um and após a primeira Commented 3/04/2022 às 15:11
  • Não use & como condição de and nesse caso, use and mesmo, e não são necessários esses () separando as condições Commented 3/04/2022 às 15:15
  • Não deu. Vou gerar um dataframe mais enxuto e, sendo o caso, posto-o aqui editando a pergunta. Acho que tem algo a ver com as saídas em boolean quando aplico as condições. Se eu tiver um entendimento e controle sobre elas, acho que conseguirei resolver. Mas posso estar errado também rs. Commented 3/04/2022 às 16:22
  • Sua resposta pode ser melhorada adicionando informações fundamentais. Basta editar para adicionar mais detalhes, como citações ou documentação para que outras pessoas possam confirmar que sua resposta está correta. Você pode encontrar mais informações sobre como escrever boas respostas na Central de Ajuda.
    – Comunidade Bot
    Commented 3/04/2022 às 18:05
0

Problema solucionado. Agradeço ao Gus, pois através de sua resposta, fiz as alterações necessárias para chegar à solução do problema. Transcreverei aqui os detalhes.

Gerei um outro dataframe de teste(é muito útil tentar reduzir o problema ao modelo mais simples possível).

data = np.array([['Hong Kong', np.nan],
                ['Hong Kong', 'Central'],
                ['Hong Kong', np.nan],
                ['Hong Kong', np.nan],
                ['Hong Kong', 'Kowloon'],
                ['Singapore', np.nan]])

df = pd.DataFrame(data, columns=['Country', 'City'])

O problema consistia em:

  • Alterar os valores nulos de 'Hong Kong' para 'HK-other' sem afetar os nomes de cidades e o valor nulo de 'Singapore'

Solução (depois de quebrar a cabeça com vários outros arranjos complicados):

for i in df.index:
    if (df.iloc[i][0] == 'Hong Kong') and (df.iloc[i][1] == 'nan'):
        df['City'][i] = 'HK-other'

Obviamente que, no dataframe original com o qual estou trabalhando, bastará trocar os índices acima, de acordo com a indexação das colunas.

Porém, um detalhe a ser relatado. O código acima funcionou para esse dataframe de teste, mas não no original. Assim, a dúvida está respondida, o problema que surge agora é que ele não está lendo os valores NaN da coluna original. Eu consigo alterar o valor digitando um a um: df.['City'][i] = 'HK-other', onde i é o índice da linha, mas o mesmo comando não funciona dentro do laço for. Isso, justamente, porque o trecho df.iloc[i][1] == 'nan'não encontra o valor nulo, embora o comando df.isnull().sum()apontasse o valor nulo na respectiva coluna.

Novamente, a gambiarra para resolver isso foi utilizar o df['City'].fillna(555, inplace=True) para substituir os supostos valores ausentes por 555 e então rodar novamente o laço for com a troca de 'nan' por 555 no código.

Enfim, problema solucionado de todo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .