0

Estou com um data frame que precisa ser removido as duplicidades e posteriormente do dataframe anterior eu preciso somar um coluna específica. Na verdade eu tenho 5 DF, 4 já deram certo, mas um por conter duplicidade de valores após o groupby ele dá erro de index. Alguém pode me ajudar? Já tentei de diversas formas.

DF1['TOTAL KBYTES VAN'] = DFORIGINAL.groupby(['CONVENIO', 'CNPJ', 'PRODUTO', 'RATEIO VAN'])['TOTAL KBYTES VAN'].transform(np.sum)

este código funciona para 4 DF, porém em um deles o TOTAL KBYTES se "duplica" diversas vezes, e isso é uma realidade, eu preciso somar também os duplicados.

já tentei ele de diversas formas mas sem êxito.

exemplos de tentativas:

DF1['TOTAL KBYTES VAN'] = DFORIGINAL.groupby(['CONVENIO', 'CNPJ', 'PRODUTO', 'RATEIO VAN'])['TOTAL KBYTES VAN'].sum()

DF1['TOTAL KBYTES VAN'] = DFORIGINAL.groupby(['CONVENIO', 'CNPJ', 'PRODUTO', 'RATEIO VAN'])['TOTAL KBYTES VAN'].cumsum()

DF1['TOTAL KBYTES VAN'] = DFORIGINAL.groupby(['CONVENIO', 'CNPJ', 'PRODUTO', 'RATEIO VAN'], as_index=False)['TOTAL KBYTES VAN'].sum()

DF1['TOTAL KBYTES VAN'] = DFORIGINAL.groupby(['CONVENIO', 'CNPJ', 'PRODUTO', 'RATEIO VAN'], as_index=False)['TOTAL KBYTES VAN'].transform(np.sum)

DFORIGINAL

VAN;CNPJ;CLIENTE;PRODUTO;RATEIO VAN;TOTAL KBYTES VAN;CONVENIO;% MARGEM
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;PAGAMENTO;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;PAGAMENTO;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
VAN CNPJ CLIENTE PRODUTO RATEIO VAN TOTAL KBYTES VAN CONVENIO % MARGEM
EMPRESA 0123456789777 EMPRESA OUTROS 100 2,63671875 220000000 1
EMPRESA 0123456789777 EMPRESA PAGAMENTO 100 2,63671875 220000000 1
EMPRESA 0123456789777 EMPRESA OUTROS 100 2,63671875 220000000 1
EMPRESA 0123456789777 EMPRESA OUTROS 100 2,63671875 220000000 1
EMPRESA 0123456789777 EMPRESA PAGAMENTO 100 2,63671875 220000000 1
EMPRESA 0123456789777 EMPRESA OUTROS 100 2,63671875 220000000 1

Só consegui desta forma, veja que o resultado esperado. Obs. Antes de fazer a soma, eu faço um "drop_duplicates" no DF1, usando o mesmo criterio do groupby, assim o DF1 trás apenas as 2 linhas únicas, e delas eu espero entregar a soma do TOTAL KBYTES VAN

RESULTADO ESPERADO DF1

VAN;CNPJ;CLIENTE;PRODUTO;RATEIO VAN;TOTAL KBYTES VAN;CONVENIO;% MARGEM
EMPRESA;0123456789777;EMPRESA;OUTROS;100;10,546875;220000000;1
EMPRESA;0123456789777;EMPRESA;PAGAMENTO;100;5,2734375;220000000;1
VAN CNPJ CLIENTE PRODUTO RATEIO VAN TOTAL KBYTES VAN CONVENIO % MARGEM
EMPRESA 0123456789777 EMPRESA OUTROS 100 10,546875 220000000 1
EMPRESA 0123456789777 EMPRESA PAGAMENTO 100 5,2734375 220000000 1
2

1 Resposta 1

4

Acredito que você tenha que usar o reset_index

Veja o exemplo:

Criando DataFrame

import pandas as pd

df = pd.DataFrame({"A": [1,2,1,3,4], "B": [1,2,1,3,4]})

df
Out[3]:
   A  B
0  1  1
1  2  2
2  1  1
3  3  3
4  4  4

Somando SEM o reset_index

df1 = df.groupby(["A"])["B"].sum()

type(df1)
pandas.core.series.Series

Somando COM reset_index

df2 = df.groupby(["A"])["B"].sum().reset_index()

type(df2)
pandas.core.frame.DataFrame

Nota perceba que o tipo gerado é diferente entre as formas.

EDITADO em 15/07/2021, baseado na atualização do post que, agora, contém o dataframe e o esperado

Criando DataFrame

import io
import pandas as pd

txt = """VAN;CNPJ;CLIENTE;PRODUTO;RATEIO VAN;TOTAL KBYTES VAN;CONVENIO;% MARGEM
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;PAGAMENTO;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;PAGAMENTO;100;2,63671875;220000000;1
EMPRESA;0123456789777;EMPRESA;OUTROS;100;2,63671875;220000000;1"""

df = pd.read_csv(io.StringIO(txt), sep=";")

df
       VAN          CNPJ  CLIENTE    PRODUTO  RATEIO VAN TOTAL KBYTES VAN   CONVENIO  % MARGEM
0  EMPRESA  123456789777  EMPRESA     OUTROS         100       2,63671875  220000000         1
1  EMPRESA  123456789777  EMPRESA  PAGAMENTO         100       2,63671875  220000000         1
2  EMPRESA  123456789777  EMPRESA     OUTROS         100       2,63671875  220000000         1
3  EMPRESA  123456789777  EMPRESA     OUTROS         100       2,63671875  220000000         1
4  EMPRESA  123456789777  EMPRESA  PAGAMENTO         100       2,63671875  220000000         1
5  EMPRESA  123456789777  EMPRESA     OUTROS         100       2,63671875  220000000         1

Convertendo TOTAL KBYTES VAN para float

df["TOTAL KBYTES VAN"] = df["TOTAL KBYTES VAN"].str.replace(",", ".")

df["TOTAL KBYTES VAN"] = df["TOTAL KBYTES VAN"].astype(float)

df
       VAN          CNPJ  CLIENTE    PRODUTO  RATEIO VAN  TOTAL KBYTES VAN   CONVENIO  % MARGEM
0  EMPRESA  123456789777  EMPRESA     OUTROS         100          2.636719  220000000         1
1  EMPRESA  123456789777  EMPRESA  PAGAMENTO         100          2.636719  220000000         1
2  EMPRESA  123456789777  EMPRESA     OUTROS         100          2.636719  220000000         1
3  EMPRESA  123456789777  EMPRESA     OUTROS         100          2.636719  220000000         1
4  EMPRESA  123456789777  EMPRESA  PAGAMENTO         100          2.636719  220000000         1
5  EMPRESA  123456789777  EMPRESA     OUTROS         100          2.636719  220000000         1

Agrupando e somando

novo_df = df.groupby(["VAN", "CNPJ", "CLIENTE", "RATEIO VAN", "CONVENIO", "% MARGEM", "PRODUTO"])["TOTAL KBYTES VAN"].sum().reset_index()

novo_df
       VAN          CNPJ  CLIENTE  RATEIO VAN   CONVENIO  % MARGEM    PRODUTO  TOTAL KBYTES VAN
0  EMPRESA  123456789777  EMPRESA         100  220000000         1     OUTROS         10.546875
1  EMPRESA  123456789777  EMPRESA         100  220000000         1  PAGAMENTO          5.273438

Nota no groupby usei a coluna PRODUTO por último, pois ela é quem tem valores diferentes (PAGAMENTO e OUTROS). Isso não é obrigatório, apenas um hábito que tenho.

4
  • Valeu a tentativa de ajudar, muito obrigado. Mas eu já tinha tentando o reset também e ele não funciona. Na coluna que eu quero a entrega da soma, ele me trás o dado da coluna convênio da primeira linha de cada linha acessada. Commented 15/07/2021 às 17:49
  • 2
    Atualize seu post com um pedaço do dataframe original (sem ser imagem), o resultado obtido e o resultado esperado. O "dataframe original" pode ser falso, apenas para reproduzir o problema. Commented 15/07/2021 às 17:56
  • Editei agora, demonstrando os 2 DF. Commented 15/07/2021 às 18:34
  • Cara, você foi sensacional, muito obrigado! Espero que minha dúvida possa ajudar outras pessoas. Commented 16/07/2021 às 11:55

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .