传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

1. spark简介

Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。
Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。

2. RDD简介
RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变(创建了内容不可变)、可分区、里面的元素可并行计算的集合。

RDD在源码中的介绍:

翻译过来就是:

1,由多个分区组成。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。
2,一个计算函数用于每个分区。Spark中RDD的计算是以分片为单位的,每个RDD都会实现compute函数以达到这个目的。
3,RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。数据丢失时,根据依赖重新计算丢失的分区而不是整个分区。
4,一个Partitioner,即RDD的分片函数。默认是HashPartition
5,分区数据的最佳位置去计算。就是将计算任务分配到其所要处理数据块的存储位置。数据本地化。

画个图分析下:


基本上RDD有两种创建方式,一个是从hdfs中获取数据创建,一个是通过创建并行化集合创建rdd 。

我们通过创建集合的方式创建rdd :

如图,每次都会产生新的rdd, 且每个rdd之间含有依赖关系,如果某个rdd处理失败,可以从shan上个依赖chon重新获取数据,

还可以看出rdd会自动就是将计算任务分配到其所要处理数据块的存储位置。数据本地化


分享至 : QQ空间
收藏

0 个回复

您需要登录后才可以回帖 登录 | 加入黑马
关闭

站长推荐 上一条 /5 下一条