以某知名电商用户画像系统为基础二次开发,形成本项目。包含了几乎所有的常见标签类型的计算思路,也具有数个机器学习类型的标签,标签种类充足。采用 Spark 进行数据开发,使用 Spring 系统作为业务系统开发,包含了从部署到标签计算的全流程。
讲解方式
知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。
课程亮点
1,知识体系完备,阶段学习者都能学有所获。
2,综合各种方式演示代码、分析逻辑,生动形象,化繁为简,讲解通俗易懂。
3,结合工作实践及分析应用,培养解决实际问题的能力。
4,使用综合案例来加强重点知识,用切实的应用场景提升编程能力,充分巩固各个知识点的应用。
5,整个课程的讲解思路是先提出问题,然后分析问题,并编程解决解题。
适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。
课程内容
第一章:用户画像概念、项目概述及环境搭建
1.用户画像产生背景与概念 2.用户画像应用场景 3.用户标识 4.项目功能模块与技术架构 5.项目标签梳理 6.项目工程导入及演示 7.项目标签系统 8.项目大数据环境搭建 9.项目工程搭建及Git使用 第二章:数据ETL加载及Oozie 应用调度
1.业务数据调研 2.数据导入几种方式 3. SQOOP导入数据至HBase表 4. HBase ImportTsv工具导入数据 5. 批量数据加载BulkLoad 6. Oozie调度工作流组成及本质 7. 配置部署Oozie调度Spark2 8. Oozie调度Spark2应用运行 9. Hue集成Oozie调度Spark2应用 10. Oozie Java Client API 使用 第三章:标签模型开发及自定义外部数据源
1. 用户画像实现方式:HiveQL和Spark 2. 用户画像功能模块:标签调度、标签管理及标签模型开发 3. 标签模型开发流程 4. Spark与HBase数据库交互 5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储 6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel 7. SparkSession实例对象构建工具类及配置信息加载 8. 其他规则匹配类型标签模型开发 9. SparkSQL提供外部数据源实现接口分析 10. 实现外部数据源接口从HBase加载爆粗数据 11. 加载HBases数据实现字段过滤条件WhereCondition 12. 统计类型标签模型开发:年龄段、消费周期及支付方式 13. 用户标签值存储方案:标签及标签权重; 第四章:基于Solr构建画像标签索引
1. 用户标签功能【微观画像和标签查询】 2. 构建标签索引思路 3. 全文检索Solr概述及索引机制 4. Solr核心组成及目录结构 5. Solr 安装部署及启动 6. Solr 核心配置文件schema.xml 7. Solr 客户端SolrJ API使用 8. 构建Solr标签索引及配置分词器 9. HBase 协处理Coprocessor同步Solr索引数据 10. 批量插入数据至Solr 第五章:商品推荐及业务数据多数据源
1. 业务数据多数据源概述及设计思想 2. 重构加载业务数据 3. 加载MySQL、Hive及HDFS等数据源数据 4. 推荐系统核心及协同过滤算法推荐思想 5. 依据行为数据获取用户对物品评分 6. 特征数据提取及构建ALS模型 7. ALS模型推荐商品及保存 8. 总述全方位用户画像功能、业务及实现
网盘视频截图展示: 视频下载链接已添加 回帖可获取视频下载提取码 添加播妞qq3414556270可获取本视频源码资料
|