A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 程序媛   /  2018-12-22 11:41  /  1713 人查看  /  0 人回复  /   1 人收藏 转载请遵从CC协议 禁止商业使用本文

3. Spark运行基本流程

  Spark运行基本流程参见下面示意图:

  1) 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;

  2) 资源管理器分配Executor资源并启动Executor,Executor运行情况将随着心跳发送到资源管理器上;

  3) SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

  4) Task在Executor上运行,运行完毕释放所有资源。

  4. Spark运行架构特点

  Spark运行架构特点:

  ①每个Application获取专属的executor进程,该进程在Application期间一直驻留,并以多线程方式运行tasks。

  ②Spark任务与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。

  ③提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是在同一个Rack里,因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行,最好使用RPC将SparkContext提交给集群,不要远离Worker运行SparkContext。

  ④Task采用了数据本地性和推测执行的优化机制。


作者:传智播客云计算大数据培训学院

首发:http://cloud.itcast.cn


0 个回复

您需要登录后才可以回帖 登录 | 加入黑马