Perguntas com a tag [spark]
Apache Spark é um mecanismo de análise unificado para processamento de dados em grande escala. Ele fornece APIs de alto nível em Java, Scala, Python e R e um mecanismo otimizado que oferece suporte a gráficos de execução geral.
17
perguntas
-1
votos
0
respostas
14
visitas
Como fazer uma contagem acumulada com pyspark?
Eu tenho o seguinte DataFrame:
Data
CodCliente
Cliente
CNPJ
TotaldeCaixas
ValorRS
TotalCaixasAcumuladas
TotalValorAcumulado
22/04/16
100027553
A
221345
0.08
36.99
22/04/16
100027680
A
221345
0.08
...
0
votos
0
respostas
85
visitas
Como gerar um csv através de um dataframe no pyspark?
import sys
from pyspark import SparkConf, SparkContext
from pyspark.conf import SparkConf
from pyspark.sql import SparkSession, DataFrame
from pyspark.sql.functions import *
from pyspark.sql.functions ...
-5
votos
1
resposta
74
visitas
CALCULO DO VALOR DE UMA COLUNA MENOS O VALOR DEBAIXO DA OUTRA COLUNA PYSPARK [fechada]
Estou tentando fazer o seguinte cálculo:
quando a ação for 0, fazer o tempoInicial - tempoFinal do segundo 0 e fazer isso até o fim do dataframe
já tentei usar o LEAD, mas infelizmente não se encaixa. ...
0
votos
0
respostas
18
visitas
Quando usar RDD ao invés de Dataframe para tabelas
Em que casos seria mais indicado trabalhar com RDDs ao invés de Dataframes quando se está trabalhando com tabelas?
1
voto
4
respostas
1mil
visitas
Como converter uma coluna do dataframe pyspark em uma lista?
Boa tarde pessoal, eu tenho um dataframe gerado no pyspark e gostaria de transformar esse dataframe em lista, vocês saberiam uma forma de converter?
Eu estou pegando os itens do dataframe e passando ...
1
voto
1
resposta
292
visitas
Como referenciar um desvio padrão no PySpark?
boa tarde!
Eu já pesquisei bastante e não estou conseguindo encontrar uma forma de solucionar isso.
Eu tenho um df sobre ações (meu df tem dados de nome, data, abertura, máxima, mínima, fechamento e ...
0
votos
1
resposta
780
visitas
Gostaria de extrair hora,minuto e segundo do Timestamp [Pyspark]
Para extrair data e hora no pyspark, estou utilizando essa função, pois, já me traz no UTC correto.
from pyspark.sql import functions as F
df.withColumn('teste',F.current_timestamp()).show()
Mas ela ...
-2
votos
1
resposta
87
visitas
O comando to_csv() está salvando uma coluna int em double no meu csv
Este é meu df no pyspark (resultado)
Quando eu uso:
(file_name_out="TB_CAMPAIGN_Avon" path_out="/home/257615628/trusted_to_refined" resultado.toPandas().to_csv(f'{path_out}/{...
0
votos
1
resposta
260
visitas
Função "Procv" com pyspark
Sou iniciante e gostaria de saber se há algum código para correlacionar duas planilhas por meio de índice (CAUSE_CODE), igual um PROCV no Excel, porém em Pyspark.
%pyspark
machine_A_grouped = ...
0
votos
2
respostas
59
visitas
como criar uma udf utilizando duas colunas e if expressão
Estou fazendo um trabalho usando PySpark and SQL
tenho essa função:
selection = F.udf(lambda x: cumulative_sum._1 if 100*random.random()<= x, FloatType())
cumulative_sum.withColumn('Selection2', ...
7
votos
3
respostas
2mil
visitas
O que é RDD (resilient distributed dataset)?
Estou estudando sobre o Spark no Python e o acrônimo RDD sempre aparece. Entretanto eu não consigo compreender o que é de fato esta nomenclatura.
Assim sendo, eu gostaria de saber o que é resilient ...
1
voto
0
respostas
161
visitas
Pytho Kafka, Spark Streaming, Mongodb conection
Olá
Estou criando uma job streaming, porém não recebo mensagem de erro e nem acontece a gravação no mongo.
Já tentei diversos tipos de conexão. Na linha de comando, producer e consumer consigo ...
0
votos
0
respostas
33
visitas
Yarn AM está encerrando trabalho ao enviar um trabalho remoto ao cluster
Eu tenho procurado por um identificador em um problema sem muitas pistas. Qualquer ajuda que me aponte para a direção certa será enorme.
Qualquer ajuda será de grande valor.
Estou rodando um Hadoop ...
2
votos
0
respostas
32
visitas
Como utilizar o AWS Glue para obter dados 'por batelada' em BD semi-estruturado?
É possível utilizar o AWS Glue para obter os dados de forma incremental em uma base de dados SQL semi-estruturada? Os dados on-premise que pretendo exportar para a nuvem AWS estão numa única tabela, ...
0
votos
1
resposta
112
visitas
Conexão Cassandra + Spark + R
Como faço para conectar o Cassandra com o spark?
Cassandra > Spark > R
Já consegui conectar o R ao Spark, agora preciso levar os dados que estão armazenados no Cassandra para o Spark e finalmente ...
1
voto
0
respostas
144
visitas
Converter string para data no SparkR - Databricks
Estou tratando um dataframe no algorítimo prophet em meu trabalho, para tanto no Rstudio utilizava o seguinte código para converter os dados de Data que estão como string para Date, pois o algorítimo ...
1
voto
0
respostas
62
visitas
Arquitetura MVC de Rotas e Controllers com várias versões usando Spark
Estou implementando uma API Rest em Java utilizando o framework Spark. Preciso dividir as rotas em duas versões ou mais: v1 e v2. Eu sei que o Spark fornece o path(), acredito não ser difícil.
Minha ...