标题: 【上海校区】spark之RDD的理解 [打印本页] 作者: 梦缠绕的时候 时间: 2019-1-25 10:13 标题: 【上海校区】spark之RDD的理解 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它存储的元数据信息，真正的数据在partition分区中，一个RDD中有多个分区，一个分区在executor节点上执行，他就是一个迭代器，一个分区在一台机器上，一台机器可以有多个分区，我们操作的是分布在多台机器上的数据，而RDD是一个代理，对RDD进行操作其实就是对分区进行操作，就是对每一台机器上的迭代器进行操作，因为迭代器保存着我们要操作的数据！
五大特性：
A list of partitions
一系列分区，是数据集的基本组成单位
A function for computing each split
一个函数作用于每个分区.map（t=>(t,1)）
A list of dependencies on other RDDs
每个RDD是有依赖关系的(下一个算子的计算依赖于上一个算子的结果)
Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
如果RDD里面的数据是Key,value类型的，会有hashpartitioner(分区器)
作用于该RDD（可能导致分区数据不平衡）
分区原理：根据key，求出其的hashcode值，除于分区数，如果余数为负数，则余数加分区数就是其对应的分区ID
Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
存储每个分区的数据的时候，会有一个最优位置，如果是读取HDFS的文件，按照移动数据不如移动计算的概念
就是说Spark进行任务调度的时候，会尽可能将计算任务分配到其所要的数据存储单位，（优先处理本节点的数据，跨节点读取数据会产生磁盘IO消耗，）
奈斯