黑马程序员2013年课程全新升级!!JavaEE+物联云计算正式引入重量级课程——Hadoop
学web的你知道Hadoop吗?不知道?那你就OUT了。Hadoop是一个能够对大量数据进行分布式处理的软件框架,是目前最火的云计算技术。掌握Hadoop的开发人员,不需要太精通,只是掌握,就业薪水就达8000以上。可以说前景相当广阔,薪水相当诱人。有图为证:(以下是招聘网站的截图)
这还只是入门级的待遇,那如果熟练以后呢:
月薪30000以上,不要怀疑你的眼睛,这是真的。自己可以去各大招聘网搜索hadoop给的薪水!现在百度、IBM、Sohu、腾迅等各大公司都在研究应用Hadoop技术。
Hadoop不但就业薪水起点高,而且现在市场上奇缺掌握Hadoop的开发人员。随着云计算在中国的兴起,相信2014——2016年中国对hadoop的需求将达到井喷的程度。黑马程序员的教学宗旨就是给学员传授最先进、最实用的技术。并在国内第一个开设hadoop课程,让学员真正掌握Hadoop应用。引领技术的潮流,让别人永远跟在我们屁股后面。
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
Hadoop课程体系介绍:
一、HADOOP背景,定义,开发准备
1、课程简介。大数据时代的特点。HADOOP能做什么?HADOOP与云计算,HADOOP生态圈。
2、HADOOP与其他系统的比较。举例:分布式程序与HADOOP的区别。HBASE与传统数据库的区别。
3、介绍“教学例程”的背景,软件架构,实现方式。
4、本机开发环境做准备。讲解虚拟机软件的安装,虚拟机CENTOS安装。
二、HADOOP本机模式开发MAPREDUCE
1、伪分布模式的单机环境的搭建
2、MAPREDUCE的设计思想以及框架结构说明与讲解HADOOP自带例子wordcount
3、做简单的KPI计算(统计手机用户的总包数,总流量,上网成功率)的MAPREDUCE程序与WEB CONSOLE
三、HADOOP核心之HDFS
1、分布式文件系统(DFS)与HBASE的基本概念
2、HADOOP文件管理命令行操作
3、JAVA接口操作
四、HADOOP核心之MAPREDUCE(续)
1、HADOOP的Writable接口,序列化(Text,IntWritable),
2、HADOOP的Combiner
3、HADOOP的输入,输出类型与格式
4、HADOOP的计数器
五、HADOOP集群
1、集群概念。
2、HADOOP集群的搭建(1个NameNode,1个SecondaryNameNode,3个DataNode,全部Linux环境)
3、集群的管理,监控,优化
4、剖析MapReduce作业的在集群执行过程;HADOOP的Shuffle;集群下运行MAPREDUCE程序
六、NOSQL数据库与HBASE
1、NOSQL数据库及其主流产品介绍
2、HBASE基础知识
3、HBASE的伪分布模式在本机的搭建
七、HBASE的集群
1、集群的搭建(1个HMaster,3个RegionServer,全部Linux环境)
2、集群的管理与监控
八、HBASE的访问
1、HBASE表的设计
2、HBase Shell以及演示
3、HBASE的批量导入(例:详单入库)
4、Java客户端以及代码演示(例:详单查询)
九、数据仓库与HIVE
1、数据仓库基础知识
2、Hive的定义及其体系结构简介以及与数据库的比较
3、HIVE安装与运行与数据仓库表的设计
4、HiveQL数据类型,表以及表的操作
5、HiveQL查询数据(排序和聚合,连接,子查询,视图等)
十、教学实例
对网站日志数据分析的程序。主要功能与涉及到技术点有: 1、MAPREDUCE(KPI建模,KPI计算等) 2、HBASE(详单入库与查询) 3、HIVE(数据仓库与多维分析)
教学中使用的软件:软件 | | | | | | | | | | |
| | |
| | hbase-0.94.2-security.tar.gz | | | | | | | |
教学集群:机器IP | | | | | |
| | | cpu:>2个核 2.4GMZ 内存:>4G 本地硬盘:>200G | Namenode secondaryNamenode | |
| | | cpu:>2个核 2.4GMZ 内存:>4G 本地硬盘:>200G | | |
| | | cpu:>2个核 2.4GMZ 内存:>4G 本地硬盘:>200G | | |
| | | cpu:>2个核 2.4GMZ 内存:>4G 本地硬盘:>200G | | |
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|