A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 程序媛   /  2020-11-16 16:31  /  4673 人查看  /  27 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

以某知名电商用户画像系统为基础二次开发,形成本项目。包含了几乎所有的常见标签类型的计算思路,也具有数个机器学习类型的标签,标签种类充足。采用 Spark 进行数据开发,使用 Spring 系统作为业务系统开发,包含了从部署到标签计算的全流程。

讲解方式
知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。


课程亮点
1,知识体系完备,阶段学习者都能学有所获。
2,综合各种方式演示代码、分析逻辑,生动形象,化繁为简,讲解通俗易懂。
3,结合工作实践及分析应用,培养解决实际问题的能力。
4,使用综合案例来加强重点知识,用切实的应用场景提升编程能力,充分巩固各个知识点的应用。
5,整个课程的讲解思路是先提出问题,然后分析问题,并编程解决解题。

适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。

课程内容
第一章:用户画像概念、项目概述及环境搭建

1.用户画像产生背景与概念

2.用户画像应用场景

3.用户标识

4.项目功能模块与技术架构

5.项目标签梳理

6.项目工程导入及演示

7.项目标签系统

8.项目大数据环境搭建

9.项目工程搭建及Git使用

第二章:数据ETL加载及Oozie 应用调度

1.业务数据调研

2.数据导入几种方式

3. SQOOP导入数据至HBase表

4. HBase ImportTsv工具导入数据

5. 批量数据加载BulkLoad

6. Oozie调度工作流组成及本质

7. 配置部署Oozie调度Spark2

8. Oozie调度Spark2应用运行

9. Hue集成Oozie调度Spark2应用

10. Oozie Java Client API 使用

第三章:标签模型开发及自定义外部数据源

1. 用户画像实现方式:HiveQL和Spark

2. 用户画像功能模块:标签调度、标签管理及标签模型开发

3. 标签模型开发流程

4. Spark与HBase数据库交互

5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储

6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel

7. SparkSession实例对象构建工具类及配置信息加载

8. 其他规则匹配类型标签模型开发

9. SparkSQL提供外部数据源实现接口分析

10. 实现外部数据源接口从HBase加载爆粗数据

11. 加载HBases数据实现字段过滤条件WhereCondition

12. 统计类型标签模型开发:年龄段、消费周期及支付方式

13. 用户标签值存储方案:标签及标签权重;

第四章:基于Solr构建画像标签索引

1. 用户标签功能【微观画像和标签查询】

2. 构建标签索引思路

3. 全文检索Solr概述及索引机制

4. Solr核心组成及目录结构

5. Solr 安装部署及启动

6. Solr 核心配置文件schema.xml

7. Solr 客户端SolrJ API使用

8. 构建Solr标签索引及配置分词器

9. HBase 协处理Coprocessor同步Solr索引数据

10. 批量插入数据至Solr

第五章:商品推荐及业务数据多数据源

1. 业务数据多数据源概述及设计思想

2. 重构加载业务数据

3. 加载MySQL、Hive及HDFS等数据源数据

4. 推荐系统核心及协同过滤算法推荐思想

5. 依据行为数据获取用户对物品评分

6. 特征数据提取及构建ALS模型

7. ALS模型推荐商品及保存

8. 总述全方位用户画像功能、业务及实现


网盘视频截图展示:
视频下载链接已添加
回帖可获取视频下载提取码
游客,如果您要查看本帖隐藏内容请回复
添加播妞qq3414556270可获取本视频源码资料

27 个回复

倒序浏览
谢谢分享
回复 使用道具 举报
peakGui 来自手机 初级黑马 2020-12-29 22:25:50
藤椅
1111111111111111
回复 使用道具 举报
点点滴滴64244 来自手机 初级黑马 2020-12-30 16:35:54
板凳
666刚刚哈哈哈哈
回复 使用道具 举报
nb\a nac nc,
回复 使用道具 举报
g感谢分享
回复 使用道具 举报
感谢分享
回复 使用道具 举报
感谢分享
回复 使用道具 举报
6666666666
回复 使用道具 举报
又是努力的一天,加油
回复 使用道具 举报
强强强强强强强强强强强强强强强强强强强强
回复 使用道具 举报
不错,干活
回复 使用道具 举报
谢谢大佬分享资料
回复 使用道具 举报
5. 依据行为数据获取用户对物品评分

回复 使用道具 举报
good  下载看看
回复 使用道具 举报
666666666感谢分享
回复 使用道具 举报
666666666感谢分享
回复 使用道具 举报
666666666感谢分享
回复 使用道具 举报
6666666666666666666666
回复 使用道具 举报
希望资料真实不加密
回复 使用道具 举报
12下一页
您需要登录后才可以回帖 登录 | 加入黑马