黑马程序员技术交流社区

标题: spark笔记之Spark运行架构 [打印本页]

作者: 指尖的舞者 时间: 2019-1-27 11:59
标题: spark笔记之Spark运行架构

3. Spark运行基本流程

　　Spark运行基本流程参见下面示意图：

　　1) 构建Spark Application的运行环境(启动SparkContext)，SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;

　　2) 资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上;

　　3) SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

　　4) Task在Executor上运行，运行完毕释放所有资源。

　　4. Spark运行架构特点

　　Spark运行架构特点：

　　①每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。

　　②Spark任务与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。

　　③提交SparkContext的Client应该靠近Worker节点(运行Executor的节点)，最好是在同一个Rack里，因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。

　　④Task采用了数据本地性和推测执行的优化机制。

作者：传智播客云计算大数据培训学院

首发：http://cloud.itcast.cn

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2