Estou criando um código para ler vários arquivos CSV e extrair dele alguns parâmetros e montar um novo dataframe com pandas, contudo estou enfrentando um problema nesta construção.
Inicialmente pretendia criar um dataframe vazio e conforme fosse lendo os CSVs eu adicionaria as linhas e colunas desejadas.
Por exemplo. Digamos que inicialmente eu tenha o df vazio. Após ler o meu primeiro CSV e adicioná-lo ao df, tenho:
df = pd.DataFrame(columns = ['01/05/2017','01/05/2018','01/05/2019'], index = [0], data=[0,10,11])
'01/05/2017' '01/05/2018' '01/05/2019'
'Ana' 0 10 11
Depois de varrer o segundo CSV, meu df
ficaria:
'01/05/2017' '01/05/2018' '01/05/2019' '10/06/2009'
'Ana' 0 10 11 nan
'Joao' 5 11 nan 5
De tal forma que ao fim de vários CSVs depois eu tivesse um df tão longo e completo quanto eu necessite.
Eu tentei formar N df diferentes e ir adicionando, mas não funcionou como eu queria. Um dos motivos é que, se por acaso os dados de 'Joao' estiverem distribuídos em mais de 1 csv, o df ficaria:
'01/05/2017' '01/05/2018' '01/05/2019' '10/06/2009'
'Ana' 0 10 11 nan
'Joao' nan nan nan 5
'Joao' 5 nan nan nan
'Joao' nan 11 nan nan
Que não é o formato que quero dos dados.
Existe alguma forma de compor as informações como desejo?