【郑州校区】大数据离线阶段Day7之模块开发----工作流调度 整个项目的数据按照处理过程,从数据采集到数据分析,再到结果数据的导出,一系列的任务可以分割成若干个azkaban的job单元,然后由工作流调度器调度执行。 调度脚本的编写难点在于shell脚本。但是一般都是有固定编写模式。大家可以参考资料中的脚本进行编写。大体框架如下: #!/bin/bash #set java env #set hadoop env #设置一些主类、目录等常量 #获取时间信息 #shell主程序、结合流程控制(if....else)去分别执行shell命令。 更多工作流及hql脚本定义见参考资料。 传智播客·黑马程序员郑州校区地址 河南省郑州市 高新区长椿路11号大学科技园(西区)东门8号楼三层
|