黑马程序员技术交流社区

标题: 【上海校区】Spark工作原理 [打印本页]

作者: frankman 时间: 2019-3-28 10:09
标题: 【上海校区】Spark工作原理
本帖最后由 frankman 于 2019-3-28 12:31 编辑

基本概念
理解Spark的运行模式涉及一系列概念：
（1）Cluster Manager：在集群上获取资源的外部服务。目前有三种类型：1. Standalone, Spark原生的资源管理；2. Apache Mesos, 和Hadoop Mapreduce兼容性良好  的资源调度框架；3. Hadoop Yarn, 主要指YARN中的ResourceManager.
（2）Application: 用户编写的应用应用程序。
（3）Driver: Application中运行main函数并创建的SparkContext, 创建SparkContext的目的是和集群的ClusterManager通讯，进行资源的申请、任务的分配和监控等。所以，可以用SparkContext代表Driver。
（4）Worker：集群中可以运行Application代码的节点。
（5）Executor: 某个Application在Worker上面的一个进程，该进程负责执行某些Task，并负责把数据存在内存或者磁盘上。每个Application都各自有一批属于自己的    Executor。
（6）Task：被送到Executor执行的工作单元，和Hadoop MapReduce中的MapTask和ReduceTask一样，是运行Application的基本单位。多个Task组成一个Stage，而    Task的调度和管理由TaskScheduler负责。
（7）Job：包含多个Task组成的并行计算，往往由Spark Action触发产生。一个Application可以产生多个Job。
（8）Stage：每个Job的Task被拆分成很多组Task, 作为一个TaskSet，命名为Stage。Stage的调度和划分由DAGScheduler负责。Stage又分为Shuffle Map Stage和Result Stage两种。Stage的边界就在发生Shuffle的地方。
（9）RDD：Spark的基本数据操作抽象，可以通过一系列算子进行操作。RDD是Spark最核心的东西，可以被分区、被序列化、不可变、有容错机制，并且能并行操作的数据集合。存储级别可以是内存，也可以是磁盘。
（10）DAGScheduler：根据Job构建基于Stage的DAG（有向无环任务图），并提交Stage给TaskScheduler。
（11）TaskScheduler：将Stage提交给Worker（集群）运行，每个Executor运行什么在此分配。
（12）共享变量：Spark Application在整个运行过程中，可能需要一些变量在每个Task中都使用，共享变量用于实现该目的。Spark有两种共享变量：一种缓存到各个节点的广播变量；一种只支持加法操作，实现求和的累加变量。
（13）宽依赖：或称为ShuffleDependency, 宽依赖需要计算好所有父RDD对应分区的数据，然后在节点之间进行Shuffle。
（14）窄依赖：或称为NarrowDependency，指某个RDD，其分区partition x最多被其子RDD的一个分区partion y依赖。窄依赖都是Map任务，不需要发生shuffle。因此，窄依赖的Task一般都会被合成在一起，构成一个Stage。
运行模式
   Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式。
   基本上，Spark的运行模式取决于传递给SparkContext的MASTER环境变量的值，个别模式还需要辅助的程序接口来配合使用，目前支持的Master字符串及URL包括：
local 本地模式
./bin/spark-submit --master local    # 只以单进程（没有并行化）运行
./bin/spark-submit --master local[N] # 以N(数字)个线程本地运行
./bin/spark-submit --master local # 以CPU个数个线程本地运行
spark://HOST:PORT
Spark独立部署模式，需要部署Spark到相关节点，默认7077端口。
spark.master --master spark://xx:7077
mesos://HOST:PORT
Mesos模式，需要部署Spark和Mesos到相关节点。
spark.master --master mesos://xx:5055
yarn-client
SparkConext运行在本地，task运行在Yarn集群中，集群在HADOOP_CONF_DIR 中设置。
./bin/spark-submit --master yarn-client
yarn-cluster
SparkContext和任务都运行在Yarn集群中，集群在HADOOP_CONF_DIR 中设置。
./bin/spark-submit --master yarn-cluster
常用的模式一般是local和yarn-cluster，local用于本地调试，而yarn-cluster用于在YARN集群上生产环境跑作业。

工作流程
无论运行在哪种模式下，Spark作业的执行流程都是相似的，主要有如下八步：
1.客户端启动，提交Spark Application, 一般通过spark-submit来完成。
2.Driver程序创建SparkContext，将其作为调度的总入口。
3.SparkContext在初始化过程中分别创建DAGScheduler（进行Stage调度）和TaskScheduler（进行Task调度）两个模块。
4.DAGScheduler进行Job的Stage划分。
5.DAGScheduler将Stage提交给TaskScheduler。
6.TaskScheduler向Executor发送命令，执行Task。
7.Driver管理Task状态。
8.Task完成，Stage完成，作业完成。

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2