1

Boa tarde pessoal, eu tenho um dataframe gerado no pyspark e gostaria de transformar esse dataframe em lista, vocês saberiam uma forma de converter?

Eu estou pegando os itens do dataframe e passando para uma lista de linha a linha mas está demorando um pouco. Caso alguém saiba uma outra forma de passar os dados do dataframe para uma lista mais performático seria de grande ajuda.

df_nome_funcionario = spark.sql("""
SELECT NM_FUNCIONARIO 
FROM VENDAS.NM_FUNCIONARIO
ORDER BY NM_FUNCIONARIO
GROUP BY NM_FUNCIONARIO
""")

vetor_principal = []

tam_df = df_nome_funcionario.count()

i = 0
while i < tam_df:
    print('Carregando posicao do vetor: ', i)
    vetor_principal.append(df_nome_funcionario.collect()[i][0])
i=i+1
2
  • Por favor, esclareça seu problema ou forneça detalhes adicionais a fim de destacar exatamente o que você precisa. Da forma como está escrito atualmente é difícil dizer com exatidão o que você está perguntando.
    – Comunidade Bot
    Commented 3/03/2022 às 9:37
  • Na verdade eu gostaria de passar os elementos do dataframe para uma lista no pyspark, a princípio o dataframe tem só uma coluna. Commented 3/03/2022 às 12:29

4 Respostas 4

1

Acredito que o mais rápido seria fazer uso dos métodos .rdd e .flatMap, pois estes se utilizarão dos recursos do Spark.

from pyspark.sql.functions import col

df_nome_funcionario.select(col("COLUNA")).rdd.flatMap(lambda x: x).collect()
-1

Gerando um exemplo de df:

df_nome_funcionario = spark.createDataFrame([('Romário',), ('Ronaldo',), ('Bebeto',)], ('NM_FUNCIONARIO',))
df_nome_funcionario.show()

+--------------+
|NM_FUNCIONARIO|
+--------------+
|       Romário|
|       Ronaldo|
|        Bebeto|
+--------------+

Usando collect_list para gerar a lista:

df.agg(collect_list(col("NM_FUNCIONARIO"))).collect()[0][0]

output:

['Romário', 'Ronaldo', 'Bebeto']
1
  • Sua resposta pode ser melhorada adicionando informações fundamentais. Basta editar para adicionar mais detalhes, como citações ou documentação para que outras pessoas possam confirmar que sua resposta está correta. Você pode encontrar mais informações sobre como escrever boas respostas na Central de Ajuda.
    – Comunidade Bot
    Commented 7/03/2022 às 23:10
-1

Uma das alternativas é utilizar list comprehension

vetor_principal = [item[0] for item in df_nome_funcionario.select('NM_FUNCIONARIO ').collect()]

Com o item[0] você pega o que está contido dentro da row. O collect é o comando que você utiliza para executar uma ação.

-1

Para converter uma coluna em um dataframe pyspark em lista, basta você utilizar o método toPandas() na coluna que você quer converter em lista, dessa forma:

Exemplo:

df_nome_funcionario = spark.sql("""
SELECT NM_FUNCIONARIO 
FROM VENDAS.NM_FUNCIONARIO
ORDER BY NM_FUNCIONARIO
GROUP BY NM_FUNCIONARIO
""")

df_nome_funcionario.show()

# Saída: Exemplo de saída criado pelo Luiz Viola
#
# +--------------+
# |NM_FUNCIONARIO|
# +--------------+
# |       Romário|
# |       Ronaldo|
# |        Bebeto|
# +--------------+

Aplicando o método toPandas()

returnValue = list(df_nome_funcionario.select('NM_FUNCIONARIO').toPandas()['NM_FUNCIONARIO'])

# Saída:
# ["Romário", "Ronaldo", "Bebeto"]

Sei que é contra intuitivo a conversão de um dataframe spark para pandas, só que em testes de benchmarck feitos pela comunidade essa foi a solução mais performática. Por experiência própria utilizando esse método em comparação com o collect() chegou a ser mais de 10x mais rápida.

Referência do benchmarck dos métodos:

  1. https://stackoverflow.com/a/63120999/11700945
1
  • Quem votou negativo poderia me informar o problema nessa resposta para que eu possa melhorar? Commented 25/03/2022 às 15:42

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .