8

Estou estudando sobre o Spark no Python e o acrônimo RDD sempre aparece. Entretanto eu não consigo compreender o que é de fato esta nomenclatura.

Assim sendo, eu gostaria de saber o que é resilient distributed dataset (RDD) no contexto do Spark?

3 Respostas 3

5

Resilient Distributed Datasets (RDD): abstraem um conjunto de objetos distribuídos no cluster, geralmente executados na memória principal. Estes podem estar armazenados em sistemas de arquivo tradicional, no HDFS (HadoopDistributed File System) e em alguns Banco de Dados NoSQL, como Cassandra e HBase. Ele é o objeto principal do modelo de programação do Spark, pois são nesses objetos que serão executados os processamentos dos dados.

Recomendo dar uma lida neste artigo : https://www.devmedia.com.br/introducao-ao-apache-spark/34178

Mas resumindo isso, basicamente é um meio de vários computadores processarem o mesmo job,task.

2

A abstração principal que o Spark oferece é um conjunto de dados distribuído resiliente (RDD), que é uma coleção de elementos particionados nos nós do cluster que podem ser operados em paralelo.

Em spark existem funções de ação e transformação, as de transformação são lazy evaluation e sendo assim só serão executadas quando alguma ação for chamada.

Uma informação importante é que os RDDs são imutáveis.

Criando um RDD:

lst = [2, 4, 5, 6, 7]
testData = sc.parallelize(lst)

Tipo do objeto:

type(testData)
pyspark.rdd.RDD

Chamando uma ação:

testData.count()
5

Outra ação:

testData.collect()
[2, 4, 5, 6, 7]

Transformação:

# lazy evaluation
testFltr = testData.filter(lambda x: x > 3) # observe que uma nova variável vai ser criada pois é imutável. 

Agora com a ação a transformação será feita:

testFltr.collect()
[4, 5, 6, 7]
-2

Para simplicidade dataset -> conjunto de dados , distributed -> distribuído , resiliente -> capacidade de manter o funcionamento em caso de falhas , os dados são distribuídos para serem processados em paralelo no cluster se uma partição parar outra pode reprocessar ou seja assumir os dados da partição que deu erro e o processamento continua sem erros .

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .