1

Estou convertendo 2 dataframes em 2 listas. E vou agrupa-las pela coluna CNPJ_UF_MES (sempre a 1ª coluna de cada dataframe. No exemplo real, unirei mais de 2 dataframes.

Após agrupar essas listas, terei listas de listas. e preciso uni-las baseados na coluna chave.

import pandas as pd

df1 = pd.DataFrame({
    'CNPJ_UF_MES': ['1-MG', '1-MG', '2-MG'],
    'CLIENTE_PAR_COMEX': ['1_2_3', '2_3_4', '3_4_5'],
    'REG': ['1110', '1110', '1110'],
    'COD_IP_PAR': ['200', '200', '200'],
    'COD_CLIENTE': ['xxr', 'xxv', 'xxw'],
    'IND_COMEX': ['wer', 'cad', 'sder'],
    'IND_EXTEMP': ['key_1', 'key_2', 'key_3'],
    'DT_INI': ['01032021', '01032021', '01032021'],
    'DT_FIN': ['31032021', '31032021', '31032021'],
    'VALOR': ['wer', 'cad', 'sder'],
    'PIPE_FIN': ['', '', '']
})


df2 = pd.DataFrame({
    'CNPJ_UF_MES': ['1-MG', '1-MG', '1-MG', '1-MG', '2-MG', '2-MG'],
    'CLIENTE_PAR_COMEX': ['1_2_3', '2_3_4', '3_4_5','1_2_3', '2_3_4', '3_4_5'],
    'REG': ['1110', '1110', '1110', '1110', '1110', '1110'],
    'COD_MCAPT': ['C-200', 'C-200', 'C-200', 'C-200', 'C-200', 'C-200'],
    'DT_OP': ['07032021', '07032021', '07032021', '08032021', '08032021', '08032021'],
    'VALOR': ['1', '2', '3', '1', '2', '3'],
    'QTD': ['2', '2', '2', '2', '2', '2'],
    'CNPJ_ADQUI': ['123', '123', '123', '123', '123', '123'],
    'PIPE_FIN': ['', '', '', '', '', '']

})



list1 = df1.values.tolist()
#print(list1)

values = set(map(lambda x:x[0], list1))
newlist1 = [[y for y in list1 if y[0]==x] for x in values]

print(newlist1)

list2 = df2.values.tolist()
#print(list2)


values = set(map(lambda x:x[0], list2))
newlist2 = [[y for y in list2 if y[0]==x] for x in values]

print(newlist2)

##Estou tendo problema aqui:
list3 = newlist1.append(newlist2)
print(list3)

Gostaria de ter listas de listas agrupadas pela coluna chave.

Alguma ideia?

Esse é o output desejado:

[[
  ['2-MG', '3_4_5', '1110', '200', 'xxw', 'sder', 'key_3', '01032021', '31032021', 'sder', ''],
  ['2-MG', '2_3_4', '1110', 'C-200', '08032021', '2', '2', '123', ''],
  ['2-MG', '2_3_4', '1110', 'C-200', '08032021', '2', '2', '123', '']
  ],
 [
  ['1-MG', '1_2_3', '1110', '200', 'xxr', 'wer', 'key_1', '01032021', '31032021', 'wer', ''],
  ['1-MG', '2_3_4', '1110', '200', 'xxv', 'cad', 'key_2', '01032021', '31032021', 'cad', ''],
  ['1-MG', '1_2_3', '1110', 'C-200', '07032021', '1', '2', '123', ''],
  ['1-MG', '2_3_4', '1110', 'C-200', '07032021', '2', '2', '123', ''],
  ['1-MG', '3_4_5', '1110', 'C-200', '07032021', '3', '2', '123', ''],
  ['1-MG', '1_2_3', '1110', 'C-200', '08032021', '1', '2', '123', '']
  ]]

Posteriormente vou manipular essas listas e criar arquivos CSV, cada arquivo agrupado pela coluna chave "CNPF_UF_MES".

2
  • 1
    Se são os mesmos campos, porque vc não concatena os dataframes e depois gera as listas? 7/05/2021 às 20:57
  • Obrigado pelo retorno. Porém as colunas dos dfs são bem distintas, e preciso converter em listas antes. 7/05/2021 às 21:04

1 Resposta 1

2

Você pode agrupar um Dataframe pelos dados em uma coluna com o método DataFrame.groupby() que divide o objetos em grupos definidos por um critério, nesse caso em especifico serão os dados da coluna CNPJ_UF_MES que definirão os grupos em cada Dataframe.

A partir desses grupos é possível construir um dicionário result cujo as chaves serão os dados da coluna CNPJ_UF_MES e os valores serão uma lista de listas obtidas com a concatenação dos valores de cada grupo:

result = {}                                         #Inicializa o dicionário que irá manter o resultado.
#Itera em df por ambos os Dataframes...
for df in [df1, df2]:
  #...agrupa df onde n é o dado em CNPJ_UF_MES e g é o respectivo grupo...
  for n, g in df.groupby("CNPJ_UF_MES"): 
      #...testa se já existi a chave n em result...
      if n in result:
        result[n] += g.values.tolist()              #...se sim, concatena a lista em result com a lista obtida do grupo. 
      else:
        result[n] = g.values.tolist()               #...se não, cria a chave em result e adiciona a lista obtida do grupo como valor.

pprint.pprint(list(result.values()), compact=True)  #Imprime a lista com os valores de result.
[[
  ['1-MG', '1_2_3', '1110', '200', 'xxr', 'wer', 'key_1', '01032021','31032021', 'wer', ''],
  ['1-MG', '2_3_4', '1110', '200', 'xxv', 'cad', 'key_2', '01032021','31032021', 'cad', ''],
  ['1-MG', '1_2_3', '1110', 'C-200', '07032021', '1', '2', '123', ''],
  ['1-MG', '2_3_4', '1110', 'C-200', '07032021', '2', '2', '123', ''],
  ['1-MG', '3_4_5', '1110', 'C-200', '07032021', '3', '2', '123', ''],
  ['1-MG', '1_2_3', '1110', 'C-200', '08032021', '1', '2', '123', '']
 ],
 [
  ['2-MG', '3_4_5', '1110', '200', 'xxw', 'sder', 'key_3', '01032021', '31032021', 'sder', ''],
  ['2-MG', '2_3_4', '1110', 'C-200', '08032021', '2', '2', '123', ''],
  ['2-MG', '3_4_5', '1110', 'C-200', '08032021', '3', '2', '123', '']
 ]]

Teste o código no Repl.it

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .