Estou estudando sobre o Spark no Python e o acrônimo RDD sempre aparece. Entretanto eu não consigo compreender o que é de fato esta nomenclatura.
Assim sendo, eu gostaria de saber o que é resilient distributed dataset (RDD) no contexto do Spark?
Resilient Distributed Datasets (RDD): abstraem um conjunto de objetos distribuídos no cluster, geralmente executados na memória principal. Estes podem estar armazenados em sistemas de arquivo tradicional, no HDFS (HadoopDistributed File System) e em alguns Banco de Dados NoSQL, como Cassandra e HBase. Ele é o objeto principal do modelo de programação do Spark, pois são nesses objetos que serão executados os processamentos dos dados.
Recomendo dar uma lida neste artigo : https://www.devmedia.com.br/introducao-ao-apache-spark/34178
Mas resumindo isso, basicamente é um meio de vários computadores processarem o mesmo job,task.
A abstração principal que o Spark oferece é um conjunto de dados distribuído resiliente (RDD), que é uma coleção de elementos particionados nos nós do cluster que podem ser operados em paralelo.
Em spark existem funções de ação e transformação, as de transformação são lazy evaluation e sendo assim só serão executadas quando alguma ação for chamada.
Uma informação importante é que os RDDs são imutáveis.
Criando um RDD:
lst = [2, 4, 5, 6, 7]
testData = sc.parallelize(lst)
Tipo do objeto:
type(testData)
pyspark.rdd.RDD
Chamando uma ação:
testData.count()
5
Outra ação:
testData.collect()
[2, 4, 5, 6, 7]
Transformação:
# lazy evaluation
testFltr = testData.filter(lambda x: x > 3) # observe que uma nova variável vai ser criada pois é imutável.
Agora com a ação a transformação será feita:
testFltr.collect()
[4, 5, 6, 7]
Para simplicidade dataset -> conjunto de dados , distributed -> distribuído , resiliente -> capacidade de manter o funcionamento em caso de falhas , os dados são distribuídos para serem processados em paralelo no cluster se uma partição parar outra pode reprocessar ou seja assumir os dados da partição que deu erro e o processamento continua sem erros .