A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

看模式:
client:
1.如果是client-windows:dirver在windows上执行
2.如果是client-linux: driver在spark-submit脚本

cluster:
1.如果是cluster:Master决定哪台空闲在哪台上跑
Master会让worker启动一个进程——Driver
Driver启动后会向Master请求很多资源
Master会根据需求让Worker启动多个Executor

spark代码层次:
shuffle 清洗 = map+reduce


1 个回复

倒序浏览
奈斯,感谢分享
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马