0

Tenho um dataframe com as seguintes colunas:

COL1    COL2    COL3    NEW_COL*
A       asd      1         8
B       adf      2         9
A       adg      8         1
B       adh      9         2
C       adj      7         7
D       adk      1         1

Sendo NEW_COL = (soma total da col1 por tipo - o valor da col3) / (qtd total da col1 por tipo - 1)

Nesta coluna que preciso de ajuda, alguém sabe como posso fazer em um DataFrame com pyspark?

Valeu!

2 Respostas 2

1

Adriana, não entendi o cálculo pra fazer sua nova coluna. Se NEW_COL = (soma total da col1 por tipo - o valor da col3) / (qtd total da col1 por tipo - 1) então para primeira linha de NEW_COL ficaria:

  • Soma total da col1 por tipo = 2, pois são duas ocorrências de A em col1
  • Valor da col3: 1
  • Quantidade total da col1 por tipo: 2, pois são duas ocorrências de A em col1

Logo a primeira linha ficaria: (2-1)/(2-1)=1, daí não entendi porque o resultado deu 8. Poderia me explicar com um exemplo mais detalhado do cálculo?

1
  • Seria assim: Soma do tipo A = 9 - Valor do tipo B = 1 => 8 Quantidade do tipo A = 2 - Valor unitário = 1 => 1. Dessa forma, temos 8/1.... :) Commented 4/06/2018 às 17:14
0

Sei que o post é antigo, mas fica para pesquisas futuras. Seria assim?

import pandas as pd
df = pd.DataFrame(data={'COL1':['A','B','A','B','C','D'],
      'COL2':['asd','adf','adg','adh','adj','adk',],
      'COL3':[1,2,8,9,7,1]})

print (df)

#gera uma nova coluna com a soma o valor da coluna1 por tipo
df['somaCol1porTipo'] = df['COL1'].groupby(df['COL1']).transform('count')

#gera uma nova coluna com a diferença
df['col_anterior_menos_Col3'] = df['somaCol1porTipo'] - df['COL3']

#gera um coluna com o total da coluna1
df['totalCol1'] = df['COL1'].count()

print (df)

Depois, basta fazer os cálculos que precisar usando as colunas que já têm os valores-base.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .