黑马程序员技术交流社区

标题: 【阳哥专栏】Hadoop学习路线图，抓住机遇！ [打印本页]

---

作者: 王震阳老师    时间: 2014-6-1 21:14
标题: 【阳哥专栏】Hadoop学习路线图，抓住机遇！

Hadoop学习路线图

Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。

作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！

前言

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。

有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。

1. Hadoop家族产品

截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

接下来，我把这20个产品，分成了2类。

• 第一类，是我已经掌握的
• 第二类，是TODO准备继续学习的
  

一句话产品介绍:

• Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
• Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
• Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
• Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
• Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
• Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
• Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
• Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
• Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
• Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
• Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
• Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
• Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
• Apache Giraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
• Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
• Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
• Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
• Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
• Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
• Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。
  

2. Hadoop家族学习路线图

下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。

Hadoop

• Hadoop学习路线图
• Yarn学习路线图
• 用Maven构建Hadoop项目
• Hadoop历史版本安装
• Hadoop编程调用HDFS
• 海量Web日志分析 用Hadoop提取KPI统计指标
• 用Hadoop构建电影推荐系统
• 创建Hadoop母体虚拟机
• 克隆虚拟机增加Hadoop节点
• R语言为Hadoop注入统计血脉
• RHadoop实践系列之一 Hadoop环境搭建
  

Hive

• Hive学习路线图
• Hive安装及使用攻略
• Hive导入10G数据的测试
• R利剑NoSQL系列文章 之 Hive
• 用RHive从历史数据中提取逆回购信息
  

Pig

• Pig学习路线图
  

Zookeeper

• Zookeeper学习路线图
• ZooKeeper伪分步式集群安装及使用
• ZooKeeper实现分布式队列Queue
• ZooKeeper实现分布式FIFO队列
  

HBase

• HBase学习路线图
• RHadoop实践系列之四  rhbase安装与使用
  

Mahout

• Mahout学习路线图
• 用R解析Mahout用户推荐协同过滤算法(UserCF)
• RHadoop实践系列之三 R实现MapReduce的协同过滤算法
• 用Maven构建Mahout项目
• Mahout推荐算法API详解
• 从源代码剖析Mahout推荐引擎
• Mahout分步式程序开发 基于物品的协同过滤ItemCF
• Mahout分步式程序开发 聚类Kmeans
• 用Mahout构建职位推荐引擎
  

Sqoop

• Sqoop学习路线图
  

Cassandra

• Cassandra学习路线图
• Cassandra单集群实验2个节点
• R利剑NoSQL系列文章 之 Cassandra
  

---

作者: 教皇    时间: 2014-6-1 21:32
给力，阳哥威武啊！！

---

作者: hamiguadjs    时间: 2014-6-1 21:59
阳哥在哪儿找的，求详细的地址

---

作者: 喜爱    时间: 2014-6-1 22:41
给力啊，求带学习啊！

---

作者: 帅哥哥    时间: 2014-6-1 23:05
现在还够不着，收藏了先~~~

---

作者: an1911    时间: 2014-6-1 23:35
学习学习

---

作者: 大漠孤烟    时间: 2014-6-2 00:15
未来大数据给力啊，黑马要开办大数据方面的课程吗？

---

作者: idency    时间: 2014-6-2 00:29
不明觉厉,以后要慢慢学习!

---

作者: 王江涛    时间: 2014-6-2 00:37
涨姿势了

---

作者: ender    时间: 2014-6-2 00:40
学习了   hadoop1  hadoop2  

---

作者: 明日辉煌    时间: 2014-6-2 07:10
很好，虽然大部分都没听过，不过要支持！

---

作者: 李小新H    时间: 2014-6-2 07:25
好厉害！

---

作者: AntThinking_toT    时间: 2014-6-2 08:00
阳哥威武，果断收藏。

---

作者: true    时间: 2014-6-2 08:24
先了解一下，有机会深入

---

作者: Autumn    时间: 2014-6-2 09:56
阳哥，给力！

---

作者: zhang63    时间: 2014-6-2 11:04
先认识一下，将来再深究

---

作者: 为了心中的梦    时间: 2014-6-2 11:27
学习了  赞一个

---

作者: 带眼镜的向日葵    时间: 2014-6-2 14:00
阳哥威武，求进度！！

---

作者: true    时间: 2014-6-2 14:07
支持！加油！！！！1

---

作者: 贾俊锋    时间: 2014-6-2 14:55
小菜鸟表示完全看不懂.

---

作者: yuZhe_toString    时间: 2014-6-2 16:03
学习啊     

---

作者: pk49800    时间: 2014-6-2 18:25
需要什么水平才能学习这个

---

作者: 苏周周    时间: 2014-6-2 18:47
          很给力

---

作者: 支胜勇    时间: 2014-6-2 20:48
先了解哈

---

作者: hengxing0079    时间: 2014-6-2 21:04
非常强大，强势围观，收藏已阅！

---

作者: LJZkevin    时间: 2014-6-3 00:11
赞一个！！！

---

作者: 李彦来    时间: 2014-6-3 07:34
有钱途的技术啊...

---

作者: AlanHand    时间: 2014-6-3 09:35
牛人啊，求膜拜

---

作者: 侯金龙    时间: 2014-6-3 11:18
好多的内容啊

---

作者: jsjchenlong    时间: 2014-6-3 15:03
谢谢分享啊

---

作者: 右手的依恋    时间: 2014-6-3 19:10
好多啊   学无止境啊

---

作者: 何堂红    时间: 2014-6-3 23:20
我也是，不明觉厉，要学的东西好多啊

---

作者: Conning    时间: 2014-6-3 23:55
马克一下先

---

作者: 素质    时间: 2014-6-4 03:18
云计算课程有学这些吗

---

作者: 李小新H    时间: 2014-6-4 07:20
高大上啊！！！

---

作者: 支胜勇    时间: 2014-6-4 11:41
很好的前景！

---

作者: 韩天雷    时间: 2014-6-4 16:51
Hadoop雄起！

---

作者: Seraphim    时间: 2014-6-4 20:23
原来有这么多技术要学……

---

作者: 塔罗    时间: 2014-6-4 20:42
来瞅瞅。。。。

---

作者: wuhyoung    时间: 2014-6-5 08:35
给力。。。。。

---

作者: IStudying    时间: 2014-6-5 10:11
这是必看的经典啊

---

作者: Piston    时间: 2014-6-5 16:05
阳哥，好分享。

---

作者: pk49800    时间: 2014-6-5 18:13

pk49800 发表于 2014-6-2 18:25
需要什么水平才能学习这个

:handshake努力学习中

---

作者: 相濡、彼岸    时间: 2014-6-5 18:32
感觉很遥远。

---

作者: 陈星宇    时间: 2014-6-5 21:22
mark,留着将来看看记笔记用。

---

作者: xiaoyuequheima    时间: 2014-6-5 21:24
我也会加油的，向黑马进攻

---

作者: 陈陈    时间: 2014-6-5 22:05
学习了~路途遥远。

---

作者: 黑马—张帅    时间: 2014-6-6 08:29
阳哥威武。涨姿势了

---

作者: 塔罗    时间: 2014-6-6 10:41
嗯嗯。这个。好好好学

---

作者: 〇veに    时间: 2014-6-6 17:46
你们的技术分好高啊

---

作者: 吴海平    时间: 2014-6-6 22:15
好东西，先收藏。

---

作者: 阿布Yocan    时间: 2014-6-7 11:08
赶脚还没接触到

---

作者: pancl    时间: 2014-6-7 18:41
阳哥 神人也 多谢阳哥指点

---

作者: Hello_U    时间: 2014-6-8 05:02
收藏，虽然还不懂，但肯定用得着

---

作者: 茄子    时间: 2014-6-8 09:21
阳哥，周末送技术分的活动结束了吗？？怎么没有看见呢！！

---

作者: 茄子    时间: 2014-6-8 11:52

茄子 发表于 2014-6-8 09:21
阳哥，周末送技术分的活动结束了吗？？怎么没有看见呢！！

我说呢，着了半天没有找到！！！

---

作者: 苏周周    时间: 2014-6-8 17:58
阳哥求你的扣扣号，技术交流

---

作者: iWilliam    时间: 2014-6-8 21:08
给力，要学的东西好多啊

---

作者: iWilliam    时间: 2014-6-8 21:09
大数据是未来的方向吖~

---

作者: 小熊星座    时间: 2014-6-9 00:15
Hadoop,   学习一下

---

作者: Rodgers    时间: 2014-6-9 00:51
谢谢啦，必须要收藏啊。哈哈

---

作者: mayor125    时间: 2014-6-9 13:37
收藏了~

---

作者: 旅行    时间: 2014-6-9 16:26
这路线图看的是头晕呀

---

作者: 陈山洪    时间: 2014-6-9 17:24
尊重原著，请给上原著链接

---

作者: yogaa    时间: 2014-6-9 18:52
我相信不久的将来，云计算一定会融入到我们每个人的生活当中的~感谢阳哥分享啊~

---

作者: lvwenwen88    时间: 2014-6-9 20:37
必须要收藏啊。

---

作者: dongdong5982    时间: 2014-6-9 23:23
看来这个Hadoop是必须学了

---

作者: xl3213221    时间: 2014-6-10 10:28
对于 技术分  奖励贴  现在回复还有机会么  老师  大大

---

作者: ˙▎._灬乖囧猫    时间: 2014-6-10 10:58
额。。。目前完全不懂这个

---

作者: surin    时间: 2014-6-12 15:29
收藏了先！！！

---

作者: 探花    时间: 2014-6-15 15:12
多谢阳哥 普及新知识 真张见识
支持！加油！！！！

---

作者: 王家虎    时间: 2014-6-17 15:18


阳哥

---

作者: 王家虎    时间: 2014-6-17 15:22


可以看看王老师的spark，非常全面的讲解了spark的方方面面的知识。

---

作者: Rodgers    时间: 2014-6-18 08:32
阳哥威武，谢谢分享啦！！！

---

作者: 天蓝色    时间: 2014-6-18 16:52
这是你本人真实头像么？若是，那咱们估计是多年失散的兄弟了．

---

作者: 傅九-albert    时间: 2014-6-19 10:23
这个帖子是张丹粉丝日志上的，更多人分享更强大！

---

作者: Mr.高    时间: 2014-6-22 16:24
先记下，可能会用

---

作者: 躺着睡觉    时间: 2014-6-22 17:04
给力啊。谢谢

---

作者: y200745    时间: 2014-6-22 21:27
这个，我怎么说，慢慢学习，牛

---

作者: 大象    时间: 2014-6-24 00:21
很好，看看

---

作者: Stevenj    时间: 2014-6-24 07:36
这个好啊，厉害，谢谢阳哥的分享

---

作者: Leung    时间: 2014-6-24 11:06
支持！加油！！:)

---

作者: 喻永星    时间: 2014-6-26 21:20
矮油，还没进就业班，先了解也是好的方向

---

作者: wangyang    时间: 2014-8-5 16:44
这么好的帖子，顶起

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2