A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

  • logicGraph或者jobGraph,其端点为operator,edge为数据流向。
  • operator往往代表一个函数。
  • 同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。
    物理计划
  • physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
  • 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
  • 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
  • 一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。




1 个回复

倒序浏览
欢迎交流添加学姐微信
DKA-2018
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马