黑马程序员技术交流社区

标题: 【资源教程】云计算大数据Hive教程 [打印本页]
作者: 播妞    时间: 2018-5-25 11:28
标题: 【资源教程】云计算大数据Hive教程
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式。

播妞本次分享的是云计算大数据Hive教程，感兴趣的同学切勿错过~
本教程课堂重点：

1、hive 建立一张表 跟已经存在的结构化的数据文件产生映射关系
映射成功之后，就可以通过写sql来分析这结构化的数据  避免了写mr程序的麻烦
        
2、数据库  ---》  /user/hive/warehouse 下的一个文件夹对应
表      ---》  数据库文件夹下面的子文件夹   /user/hive/warehouse/itcast.db/t_t1
表的数据位置目前不能随便存放  一定要在指定的数据库表的文件夹下面
建立表的时候 可能还需要指定分隔符 否则有可能映射不成功
   
3、建表的时候一定要根据结构化数据文件的分隔符类型  指定分隔符
建表的字段个数和字段类型 要跟结构化数据中的个数类型一致
分隔符一般使用内置的来指定  ROW FORMAT DELIMITED   分割字段  还是分割集合 等等
   
4、分区表字段不能够在表中已经存在
分区字段是一个虚拟的字段  不存放任何数据
分区字段的数据来自于装载分区表数据的时候指定的
分区表的字段  在hdfs上的效果就是在 建立表的文件夹下面又创建了子文件
这样的目的把数据的划分更加细致  减少了查询时候全表扫描的成本 只需要按照指定的分区扫描数据并显示结果即可
   
5、分桶表 创建之前 需要开启分桶功能
分桶表（分簇表）创建的时候 分桶字段必须是表中已经存储（存在）的字段
也就是说你要按照表中那个字段进行分开
针对分桶表的数据导入：load data方式不能够导成分桶表的数据  没有分桶效果
原因在于load  本质上相当于  hive 去帮我们执行 hadoop fs -put
        
分桶表的数据 采用 insert+select 插入的数据来自于查询结果（查询时候执行了mr程序）
对应mr当中的partitioner
默认分桶规则 按照你指定的分桶字段clustered by哈希值 & 分桶的个数 set mapreduce.job.reduces=？
        
分桶表也是把表所映射的结构话数据文件分成更细致的部分  但是更多的是用在join查询提高效率之上
只需要把jion的字段在各自表当中进行分桶操作即可（资料链接可添加3495414535）


网盘资料：

资料下载（网盘链接已添加回帖可见）

作者: 无峰    时间: 2018-5-28 16:37
谢谢分享
作者: Strives    时间: 2018-5-29 11:48
66666666666666666
作者: 文艺复兴    时间: 2018-5-29 19:02
牛鼻66666666666666666666666
作者: geli2787878    时间: 2018-5-31 17:31
不错不错不错
作者: wanglittle    时间: 2018-6-1 10:41
谢谢分享
作者: yuncheng    时间: 2018-6-1 14:39
谢谢分享
作者: Rollback    时间: 2018-6-1 15:24
666666666666666666666
作者: user_01    时间: 2018-6-1 20:41
感谢分享
作者: 不言    时间: 2018-6-2 11:23
赞一个,希望学习完成后有新的收获
作者: q15227669324    时间: 2018-6-3 10:07
谢谢分享
作者: 卓瑶    时间: 2018-6-4 12:32
顶顶顶顶顶顶顶顶顶
作者: zhuhsh    时间: 2018-6-4 14:20
谢谢分享，好好学习下
作者: 火雷风神    时间: 2018-6-4 16:07
方法方法付付付付付付付付付付付付付付
作者: 会搬砖的程序员    时间: 2018-6-5 18:26
还可以哦
作者: 一只小小鸟    时间: 2018-6-5 20:16
666666666666666666666666666666666666666666666
作者: 番茄炒鸡蛋    时间: 2018-6-6 08:41
学习一下
作者: Yang656520    时间: 2018-6-7 22:30
已收藏，谢谢啦！
作者: 一叶知秋秋    时间: 2018-6-12 13:45

谢谢分享
作者: 番茄炒鸡蛋    时间: 2018-6-12 15:50
学习一下！～
作者: baby14    时间: 2018-6-13 07:47
多谢分享
作者: 时间在流逝    时间: 2018-6-18 21:49
学习学习
作者: 2048    时间: 2018-6-19 09:42
回帖可见
作者: xiaohema    时间: 2018-6-20 09:09
赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞赞
作者: xy1008    时间: 2018-6-20 22:40
特别想知道
作者: moqu    时间: 2018-6-21 18:01
感谢分享
作者: 忧伤的眼神    时间: 2018-6-21 23:28
楼主辛苦了，谢谢了。
作者: a756365420    时间: 2018-6-22 09:25
嘎嘎嘎GG过过过过过过过过过过
作者: 大潘24678    时间: 2018-6-23 17:50
谢谢                                               
作者: frank88hui    时间: 2018-6-27 10:31
感谢分享，好好学习！！！
作者: 米青子加温    时间: 2018-7-6 17:31
谢谢带走
作者: jinshiwuyu    时间: 2018-7-15 09:37
作者: as851067589    时间: 2018-7-15 14:22
谢谢分享
作者: WooZo    时间: 2018-7-15 21:42
666666666lihai
作者: 筱七    时间: 2018-7-18 10:56
谢谢454654646
作者: john_Lin    时间: 2018-7-20 21:38
ok,not bad ,I wanna see the baidu link
作者: xifanyangyang    时间: 2018-7-21 15:51
6666666666666666666666
作者: Shirley19    时间: 2018-7-21 20:27
谢谢分享！
作者: 郭志    时间: 2018-7-23 21:39
学学学学学学阿达
作者: 土点    时间: 2018-7-24 23:00
作者: 魔龙圣使    时间: 2018-7-25 08:53
12aaaaaaaaaaaaaaaaaaaaaaa
作者: 小幺新    时间: 2018-7-27 09:40
66666666666666
作者: super_xkx    时间: 2018-7-27 20:37
哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈
作者: lin0    时间: 2018-7-29 21:33
XXXXXXXXXXXXXX
作者: pysl    时间: 2018-7-30 15:06
感谢分享
作者: hello30    时间: 2018-8-2 16:52

谢谢分享
作者: IT张    时间: 2018-8-2 20:07
感谢大神的分享
作者: 饺子lsy    时间: 2018-8-4 23:00
xiexie分享
作者: dongxuan5831    时间: 2018-8-5 14:33
谢谢分享，学习了。
作者: 苏暖辉    时间: 2018-8-6 10:53
回复可见
作者: 好好学!!    时间: 2018-8-8 20:41
谢谢66666666666666666666
作者: orange_cat    时间: 2018-8-8 22:35
猫猫猫猫猫猫猫猫猫猫猫猫猫猫
作者: danwang520    时间: 2018-8-11 15:25
非常好的资源，牛逼克拉斯
作者: 日暮途远S    时间: 2018-8-20 13:01
感谢分享
作者: shuaiyushuai    时间: 2018-8-24 14:00
hive 资料，hive，hive，hive
作者: 草丛娇喘    时间: 2018-8-25 11:18
感谢分享
作者: panfan930222    时间: 2018-8-25 13:38
作者: lily03    时间: 2018-8-29 16:31
谢谢分享
作者: anying    时间: 2018-9-6 11:49
作者: 敬标    时间: 2018-9-8 12:25
万分感谢
作者: 小公举    时间: 2018-9-9 11:00
作者: 丁伟0330    时间: 2018-9-10 11:04
作者: WalterSss    时间: 2018-9-10 16:29
xiangkan
作者: Samme℡    时间: 2018-9-17 10:24
爱学习，我要学习！
作者: 18903210010    时间: 2018-9-18 23:55
感谢分享
作者: wf123    时间: 2018-9-20 14:11
dashujudaodiyaozenmexue
作者: Intu_zhouxu    时间: 2018-9-20 18:48
学习实我快乐
作者: 娜娜7875    时间: 2018-9-21 19:37
6666666666666
作者: 切尔奇翁群    时间: 2018-9-25 20:26
学习，感谢分享
作者: lbj000    时间: 2018-9-25 20:33
66666666666666666666666666666
作者: 李二十九    时间: 2018-9-29 10:02
多谢分享
作者: jike_xiao    时间: 2018-10-1 21:35
谢谢
666
作者: upup001    时间: 2018-10-3 10:06
...............................................................
作者: yanglaoer123    时间: 2018-10-9 11:39
订单对对对订单订单
作者: id01    时间: 2018-10-20 10:33
谢谢分享
作者: xiaozhangBeyond    时间: 2018-10-20 11:06
谢谢感谢分享
作者: l201205028    时间: 2018-10-31 12:14
顶一个顶一个顶一个顶一个顶一个顶一个顶一个顶一个
作者: 深蓝岚    时间: 2018-10-31 14:59
学习一下
作者: 玟小六    时间: 2018-11-1 15:25
学习来了
作者: wangliang123    时间: 2018-11-8 17:35
谢谢分享，学习中
作者: 小王111666    时间: 2018-11-19 19:15
666真是给力有你我就有远远不断的学习动力了

作者: oshanny    时间: 2018-11-21 11:36
感谢您的无私分享
作者: wzw037700    时间: 2018-11-22 12:54
好好学习
作者: ylligang    时间: 2018-11-23 09:29
】云计算大数据Hive教程
作者: jason511    时间: 2018-11-26 18:11
感谢分享，赞一个
作者: cshcsh    时间: 2018-11-28 21:16
谢谢分享
作者: 娜娜7875    时间: 2018-11-29 17:28
谢谢分享
作者: wangtao1068    时间: 2018-11-29 22:35
非常渴望大数据知识
作者: Ein-Crimson    时间: 2018-12-1 00:58
加油学习 谢谢分享
作者: owenstam    时间: 2018-12-2 11:57
收藏慢慢学习
作者: 流年白驹    时间: 2018-12-3 22:11
66666666666666666666666666666
作者: Eileen1202    时间: 2018-12-5 13:12
期待期待
作者: Leenus    时间: 2018-12-6 21:59
啧啧，先收藏，看不看以后再说
作者: 浅暮    时间: 2018-12-6 22:20
牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛牛
作者: xiemin    时间: 2018-12-9 14:02
感谢黑马，谢谢无私奉献。。。。。。。。。。。。。。。。
作者: _001    时间: 2018-12-10 14:56

谢谢分享
作者: Syszx    时间: 2018-12-24 19:11
感谢分享
作者: lijm1206    时间: 2018-12-27 03:32
谢谢我找到了好资料。
作者: 凌落羽    时间: 2019-1-9 21:10
一点一滴是积累
作者: 笑叹    时间: 2019-1-19 23:17
我要资料



欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2