Boa tarde pessoal, eu tenho um dataframe gerado no pyspark e gostaria de transformar esse dataframe em lista, vocês saberiam uma forma de converter?
Eu estou pegando os itens do dataframe e passando para uma lista de linha a linha mas está demorando um pouco. Caso alguém saiba uma outra forma de passar os dados do dataframe para uma lista mais performático seria de grande ajuda.
df_nome_funcionario = spark.sql("""
SELECT NM_FUNCIONARIO
FROM VENDAS.NM_FUNCIONARIO
ORDER BY NM_FUNCIONARIO
GROUP BY NM_FUNCIONARIO
""")
vetor_principal = []
tam_df = df_nome_funcionario.count()
i = 0
while i < tam_df:
print('Carregando posicao do vetor: ', i)
vetor_principal.append(df_nome_funcionario.collect()[i][0])
i=i+1