A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 程序媛   /  2020-11-16 16:31  /  4792 人查看  /  27 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

以某知名电商用户画像系统为基础二次开发,形成本项目。包含了几乎所有的常见标签类型的计算思路,也具有数个机器学习类型的标签,标签种类充足。采用 Spark 进行数据开发,使用 Spring 系统作为业务系统开发,包含了从部署到标签计算的全流程。

讲解方式
知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。


课程亮点
1,知识体系完备,阶段学习者都能学有所获。
2,综合各种方式演示代码、分析逻辑,生动形象,化繁为简,讲解通俗易懂。
3,结合工作实践及分析应用,培养解决实际问题的能力。
4,使用综合案例来加强重点知识,用切实的应用场景提升编程能力,充分巩固各个知识点的应用。
5,整个课程的讲解思路是先提出问题,然后分析问题,并编程解决解题。

适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。

课程内容
第一章:用户画像概念、项目概述及环境搭建

1.用户画像产生背景与概念

2.用户画像应用场景

3.用户标识

4.项目功能模块与技术架构

5.项目标签梳理

6.项目工程导入及演示

7.项目标签系统

8.项目大数据环境搭建

9.项目工程搭建及Git使用

第二章:数据ETL加载及Oozie 应用调度

1.业务数据调研

2.数据导入几种方式

3. SQOOP导入数据至HBase表

4. HBase ImportTsv工具导入数据

5. 批量数据加载BulkLoad

6. Oozie调度工作流组成及本质

7. 配置部署Oozie调度Spark2

8. Oozie调度Spark2应用运行

9. Hue集成Oozie调度Spark2应用

10. Oozie Java Client API 使用

第三章:标签模型开发及自定义外部数据源

1. 用户画像实现方式:HiveQL和Spark

2. 用户画像功能模块:标签调度、标签管理及标签模型开发

3. 标签模型开发流程

4. Spark与HBase数据库交互

5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储

6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel

7. SparkSession实例对象构建工具类及配置信息加载

8. 其他规则匹配类型标签模型开发

9. SparkSQL提供外部数据源实现接口分析

10. 实现外部数据源接口从HBase加载爆粗数据

11. 加载HBases数据实现字段过滤条件WhereCondition

12. 统计类型标签模型开发:年龄段、消费周期及支付方式

13. 用户标签值存储方案:标签及标签权重;

第四章:基于Solr构建画像标签索引

1. 用户标签功能【微观画像和标签查询】

2. 构建标签索引思路

3. 全文检索Solr概述及索引机制

4. Solr核心组成及目录结构

5. Solr 安装部署及启动

6. Solr 核心配置文件schema.xml

7. Solr 客户端SolrJ API使用

8. 构建Solr标签索引及配置分词器

9. HBase 协处理Coprocessor同步Solr索引数据

10. 批量插入数据至Solr

第五章:商品推荐及业务数据多数据源

1. 业务数据多数据源概述及设计思想

2. 重构加载业务数据

3. 加载MySQL、Hive及HDFS等数据源数据

4. 推荐系统核心及协同过滤算法推荐思想

5. 依据行为数据获取用户对物品评分

6. 特征数据提取及构建ALS模型

7. ALS模型推荐商品及保存

8. 总述全方位用户画像功能、业务及实现


网盘视频截图展示:
视频下载链接已添加
回帖可获取视频下载提取码
游客,如果您要查看本帖隐藏内容请回复
添加播妞qq3414556270可获取本视频源码资料

27 个回复

倒序浏览
您需要登录后才可以回帖 登录 | 加入黑马