0

Estou fazendo um trabalho usando PySpark and SQL

tenho essa função:

selection = F.udf(lambda x: cumulative_sum._1 if 100*random.random()<= x, FloatType())
cumulative_sum.withColumn('Selection2', selection(cumulative_sum.cumSum)

Minha tabela chama cumulative_sum e meu objetivo é checar se cada valor da coluna cumSUm é menor que um número gerado aleatoriamente, caso seja eu iria adicionar o respectivo valor da coluna _1 na nova coluna Selection2. Porém, quando executo esse código, tenho esse erro:

SyntaxError: invalid syntax 

Como posso arrumar isso?

1
  • e ai, consegui?
    – Topde
    21/12/2021 às 8:55

2 Respostas 2

0

Vc precisa do Else no if-else de na mesma linha. Segue como deveria ser:

selection = F.udf(lambda x: cumulative_sum._1 if 100*random.random()<= x else float(0.0), FloatType())
cumulative_sum.withColumn('Selection2', selection(cumulative_sum.cumSum)

0

Nao sei se entendi a pergunta direito, ja nao falo portugues a muito tempo. E isso que queres fazer?

df.withColumn('selection2', 
               when(F.lag('cumSum') < F.col('cumSum'), F.col('cumSum'))
               .otherwise(0.0) #ou .otherwise(None)
              )

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .