4

Estou criando um código para ler vários arquivos CSV e extrair dele alguns parâmetros e montar um novo dataframe com pandas, contudo estou enfrentando um problema nesta construção.

Inicialmente pretendia criar um dataframe vazio e conforme fosse lendo os CSVs eu adicionaria as linhas e colunas desejadas.

Por exemplo. Digamos que inicialmente eu tenha o df vazio. Após ler o meu primeiro CSV e adicioná-lo ao df, tenho:

df = pd.DataFrame(columns = ['01/05/2017','01/05/2018','01/05/2019'], index = [0], data=[0,10,11])
          '01/05/2017' '01/05/2018' '01/05/2019'
'Ana'      0            10           11

Depois de varrer o segundo CSV, meu df ficaria:

          '01/05/2017' '01/05/2018' '01/05/2019' '10/06/2009'
'Ana'      0            10           11           nan
'Joao'     5            11           nan          5

De tal forma que ao fim de vários CSVs depois eu tivesse um df tão longo e completo quanto eu necessite.

Eu tentei formar N df diferentes e ir adicionando, mas não funcionou como eu queria. Um dos motivos é que, se por acaso os dados de 'Joao' estiverem distribuídos em mais de 1 csv, o df ficaria:

          '01/05/2017' '01/05/2018' '01/05/2019' '10/06/2009'
'Ana'      0            10           11           nan
'Joao'     nan          nan          nan          5
'Joao'     5            nan          nan          nan
'Joao'     nan          11           nan          nan

Que não é o formato que quero dos dados.

Existe alguma forma de compor as informações como desejo?

1 Resposta 1

2

Me parece simples de resolver. Supondo que você varreu todos seus arquivos e inseriu todas as linhas no Dataframe. Basta utilizar o código:

df.groupby(df.index).sum()

Exemplo

import pandas as pd
import numpy as np

data = np.array([[0,10,11,np.nan],
                [np.nan,np.nan,np.nan,5],
                [5,np.nan,6,np.nan],
                [np.nan,11,np.nan,np.nan]])

df = pd.DataFrame(data, columns=['01/05/2017','01/05/2018','01/05/2019','10/06/2009'], index=['Ana','Joao','Joao','Joao'])

Dataframe:

        01/05/2017  01/05/2018  01/05/2019  10/06/2009
Ana     0.0         10.0        11.0        NaN
Joao    NaN         NaN         NaN         5.0
Joao    5.0         NaN         6.0         NaN
Joao    NaN         11.0        NaN         NaN

Utilizando o Groupby

df.groupby(df.index).sum()

Saída:

        01/05/2017  01/05/2018  01/05/2019  10/06/2009
Ana     0.0         10.0        11.0        0.0
Joao    5.0         11.0        6.0         5.0
1
  • 1
    Obrigado @Leonardo Borges. Funcionou bem aqui!
    – alcarnielo
    24/11/2018 às 10:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .