黑马程序员技术交流社区

标题: hadoop课程来了，年薪20万等着你，你准备好了吗！！ [打印本页]
作者: admin    时间: 2013-4-3 13:50
标题: hadoop课程来了，年薪20万等着你，你准备好了吗！！


      我现在有一台笔记本，配置是酷睿i5、4G内存、500G硬盘。很难想象自己的第一台电脑的配置是奔腾3、512M内存、20G硬盘。那时候，自己的20G硬盘还有很多空闲。现在,各种软件、电影、音乐、教学视频让我500G的硬盘空间也装不下了。互联网的发展,产生的数据越来越多，不仅包括结构化的可以存储在数据库中的数据，也包括网页、电子邮件、短信、微博、日志等半结构化、非结构化的数据。互联网上，每天推特发布消息约3.4亿条，新浪微博用户发博量超过1亿条，百度大约要处理数十亿次搜索请求，淘宝网站的交易达数千万笔，联通的用户上网记录一天达到10TB(1TB=1024GB)。这一切表明，大数据时代已经到来！

    什么是大数据哪？看一下大数据的4V特点吧。

    Volume容量大。只有几(十)GB的数据不能称为大数据，这样的数据在传统的RDBMS中就可以处理。当数据达到几百GB，甚至TB级别时，RDBMS甚至数据仓库就处理不了了。这就是大数据。

    Variety 类型多样。数据的异构(不同的数据结构)、多样也是大数据的特点，比如日志、文本、word、pdf、ppt、excel、jpg、gif、avi等各种图、文、音频、视频文件。这些文件类型是传统的RDBMS处理不了的，也没有办法检索、分析。

    Velocity 访问迅速。数据是企业的命脉，数据必须被快速处理，这正是传统的RDBMS的优势所在。但是在海量数据面前，RDBMS就无能为力了。

    Value 价值密度低。最有价值的数据已经被转换处理为结构化数据，存储在数据库、数据仓库中。对于海量的价值密度低的大数据，向来不是数据库关注的对象。但是海量的大数据并不是没有价值的，比如长尾理论、“啤酒与尿布”，都是基于大数据产生的商业价值。因此提炼大数据中的商业价值是一个企业新的增长点，被越来越多的企业重视。

    上面的4V带来了大数据的难以存储、难以管理、难以利用的难题。怎么办？hadoop出场了！

    数据是存储在磁盘介质中的，海量的数据必然存储在海量的磁盘中。这么多的磁盘已经超出了Windows、Linux等操作系统的文件管理能力，因此产生了分布式的文件管理系统，即DFS(Distributed File System)。分布式文件管理系统是用来管理分布在众多磁盘中的数据。分布式文件系统需要考虑分布式的读、写、检索、数据一致性、磁盘故障、冗余等问题。hadoop的hdfs就是一个分布式的dfs，专门用于在分散的磁盘中存储海量数据。

    数据被存储，那是档案馆干的事情，这可不是企业想干的事情。数据只有被利用，产生出商业价值才是有意义的。那么就需要对大数据进行检索、查询，做各种变换，这统统称之为“计算”。最常见的计算就是去重、排序。有人想，这有什么难事，找台高性能的服务器跑就行了。其实没那么简单，因为磁盘的寻址时间、磁盘I/O、网络I/O，相对于大数据而言，是非常大的开销。我们想了个办法：把海量数据分成小块，让一台机器处理一小块数据，所有的机器同时工作。最后把结果汇总起来。这就是“并行计算”。hadoop中的MapReduce就是专门用来做分布式计算的并行处理框架。
看到了吧，hadoop就是用来解决大数据的存储和计算的。

    现在，国际互联网巨头，如谷歌、雅虎、推特、脸谱等都已经使用大数据。其中谷歌就是鼻祖。在国内，hadoop的应用也越来越多，互联网公司如百度、淘宝、腾讯、新浪、搜狐早在多年前就已经在处理大数据。传统的行业，如电信、金融、银行等也开始重视大数据的商业价值。

    这么多的企业在使用大数据，那么对大数据人才的渴求越来越强烈，但是懂hadoop的人才却非常少。因此这类人的薪水是相当高的。下图是我在前程无忧招聘网站查询hadoop职位时得到的搜索结果，可以看到大部分职位的月薪都在10k以上。月薪超过20k的职位也有很大比重。

   

    下图是我对查询结果的一个截图，可以看到hadoop工程师的待遇还是很高的，几乎都在年薪20W以上。


    在hadoop人才稀缺的时候，您掌握了这门技术，想一想那是什么结果？怎么样，心里乐了吧？


    同学们，还等什么，赶快学习hadoop课程吧！


　　注：本文转自传智播客、黑马程序员hadoop讲师吴超老师blog

作者: 黑马伍哲沂    时间: 2013-4-3 13:53
本帖最后由 黑马伍哲沂 于 2013-4-3 14:04 编辑

我邮箱的名字还是用hadoop起的。。。。

支持云科。   希望云科所有课程早日完善，

也希望论坛里多一些介绍云的帖子，尤其是黑马云的课程体系说明和介绍
作者: 炉海佳    时间: 2013-4-3 13:55
好帖顶了
作者: 周朝    时间: 2013-4-3 14:01
好好了解下~
作者: 邵震    时间: 2013-4-3 14:02
首页留名啊
作者: 周朝    时间: 2013-4-3 14:08
我想了解下 黑马的物联云课程中会着重讲HADOOP吗?课时一般都在多长时间?完事之后可以独立运用吗? 物联云课程的就业方向貌似一直都是JAVAEE吧,很少有hadoop的吧 楼主,麻烦您回答下,我们也方便了解!了解的真是太少了
作者: HM刘俊    时间: 2013-4-3 14:16
时刻准备着
作者: 韩超    时间: 2013-4-3 14:26
的确诱人。不过自己没基础·
作者: 王永良    时间: 2013-4-3 14:26
顶起~~~~
作者: 陈新    时间: 2013-4-3 14:28
顶。。。。。。。。
作者: 郝勇    时间: 2013-4-3 14:28
加油   顶一下  云计算！！！
作者: 杨武林    时间: 2013-4-3 14:30
顶起......
作者: 杨杨    时间: 2013-4-3 14:30
期待中。。。。。。。。。。。。。。。。。。。。。。。。
作者: 栗俊植    时间: 2013-4-3 14:30
好强大的物联云!
作者: 张云杰    时间: 2013-4-3 14:33
走着.....
作者: Just_Only    时间: 2013-4-3 14:40
很了不的
作者: 曹睿翔    时间: 2013-4-3 14:43
有市场就有竞争，大家加油吧，黑马的物联云将在IT界掀起一股新潮流！大数据的时代已经来了，好像终端物联网这块也很火，看来大有前途
作者: 李尧    时间: 2013-4-3 14:44
搞得我蠢蠢欲动...
作者: ㄨ____陌生    时间: 2013-4-3 14:46
{:soso_e176:}{:soso_e176:}
作者: 杨玉辉    时间: 2013-4-3 14:47
貌似很有前途
作者: 黑马-张超    时间: 2013-4-3 14:48
进javaee和物联云班只有java基础可以么?还要自学物联云的基础吗?
作者: 陈山洪    时间: 2013-4-3 14:48
很好，很强大
作者: 邵彩华    时间: 2013-4-3 15:15
呵呵 早就看到了物联云的无限前景，我的选择没错的！{:soso_e200:}{:soso_e176:}{:soso_e182:}
作者: 邵彩华    时间: 2013-4-3 15:18
楼主给力啊！！{:soso_e113:}
作者: 李红志    时间: 2013-4-3 15:45
要准备点什么呢
作者: HM邱刚权    时间: 2013-4-3 15:45
顶！黑马！顶 滔哥！
作者: 黑马-李勇    时间: 2013-4-3 15:51
顶起，抽空学一下。
作者: 袁梦希    时间: 2013-4-3 16:14
先把javaEE底子打好，在扩展自己的知识，这样才是王道，公司招聘如果单纯的只会云技术，那样不行，而且也没那么高的工资，必须全面了解各种技术！！

帖子不错   支持admin！
作者: 张君    时间: 2013-4-3 16:22
我赛。！
作者: 种生祥    时间: 2013-4-3 16:42
果然牛叉
作者: 朱晓杰    时间: 2013-4-3 17:08
令人兴奋的帖子，顶起！
作者: 张超    时间: 2013-4-3 17:52
20万不是梦
作者: 黄诗宾    时间: 2013-4-3 17:57
云1这个月毕业吧 期待云1的捷报！！{:soso_e100:}
作者: 黑马刘向阳    时间: 2013-4-3 18:18
方老大什么时候跑回来发帖子了？
作者: 黄锦成    时间: 2013-4-3 18:30
过来支持
作者: ying    时间: 2013-4-3 18:32
将来毕业找hadoop工作！{:soso_e113:}
作者: Friendy89    时间: 2013-4-3 18:43
黑马，云，不久的将来我将和你见面
作者: 葛迅    时间: 2013-4-3 18:57
袁梦希 发表于 2013-4-3 16:14
先把javaEE底子打好，在扩展自己的知识，这样才是王道，公司招聘如果单纯的只会云技术，那样不行，而且也没 ...

这哥们说道我心底去了。。。
作者: 曹宇    时间: 2013-4-3 19:37
看的心痒痒啊。。。。
作者: 唐林渊    时间: 2013-4-3 19:39
请问  hadoop是单独的课程吗? 现在开设这个班级了吗? 什么时候可以报名? 对基础有什么要求?
作者: 孙百鑫    时间: 2013-4-3 23:54
顶下.....哈哈.不错不错
作者: 周志伟    时间: 2013-4-4 07:30
好期待啊，不过，我还是先把基础学好吧
作者: 张超    时间: 2013-4-4 15:09
周志伟 发表于 2013-4-4 07:30
好期待啊，不过，我还是先把基础学好吧

对，基础好了，才能走得更远，楼才能改的高。
作者: 我试一下    时间: 2013-4-4 16:42
好贴要顶啊！！
作者: 奋斗的小猪    时间: 2013-4-4 16:52
hadoop的确是很强大啊。。。
作者: 刘凯    时间: 2013-4-4 17:07

hadoop必须顶
作者: 董霁辉    时间: 2013-4-4 18:06
烦请admin给讲讲要学习这门技术,需要哪些基本知识呢?
作者: wuddd    时间: 2013-4-4 18:19
本帖最后由 吴超老师 于 2013-4-4 18:20 编辑

亲爱的黑马们，我来了，感谢admin把我加到黑马论坛哦。

大家有技术问题，可以跟帖啊。招生咨询问题，我就无能为力了，需要咨询具体老师了。
作者: wuddd    时间: 2013-4-4 18:20
董霁辉 发表于 2013-4-4 18:06
烦请admin给讲讲要学习这门技术,需要哪些基本知识呢?

javaSE即可，对jsp/servlet没有要求
作者: 董霁辉    时间: 2013-4-4 18:54
吴超老师 发表于 2013-4-4 18:20
javaSE即可，对jsp/servlet没有要求

谢谢,学完云3在学hadoop 来得及吗
作者: wuddd    时间: 2013-4-4 18:57
董霁辉 发表于 2013-4-4 18:54
谢谢,学完云3在学hadoop 来得及吗

从技术储备讲，肯定没问题。如果是课程安排等，可以问问班主任
作者: zjm10zj    时间: 2013-4-4 21:34
不能只学云,要全面的学习
作者: lyg2013    时间: 2013-4-5 08:35

hadoop这个课程在整个学习阶段大约占到多长时间？
作者: 花心々小土豆    时间: 2013-4-6 00:19
我是一个在校生，自认为编程学的不错，在学校和各种竞赛中表现还行。但最近听了黑马的教学视频，原来有些知识不只是这样，也可以那样……黑马，这个暑假我回来的！！！！！！！
作者: wuddd    时间: 2013-4-6 06:38
qq619669842 发表于 2013-4-3 14:48
进javaee和物联云班只有java基础可以么?还要自学物联云的基础吗?

有java基础可以进。javaee和hadoop是并行的两个方向，没有前后顺序关系。
作者: wuddd    时间: 2013-4-6 06:40
lyg2013 发表于 2013-4-5 08:35
hadoop这个课程在整个学习阶段大约占到多长时间？

这个需要咨询网站客服
作者: wuddd    时间: 2013-4-6 06:41
唐林渊 发表于 2013-4-3 19:39
请问  hadoop是单独的课程吗? 现在开设这个班级了吗? 什么时候可以报名? 对基础有什么要求? ...

前三个问题需要咨询网站客服。基础需要掌握javaSE、SQL。
作者: HM马明宇    时间: 2013-4-6 16:30
顶个贴~~
作者: lyg2013    时间: 2013-4-6 18:14
吴超老师 发表于 2013-4-6 06:40
这个需要咨询网站客服

谢了哈 老师
作者: 曾志军    时间: 2013-4-6 18:54
怎么高的工资啊
作者: 张卫刚    时间: 2013-4-6 20:16
哦哦，大数据时代啊
作者: 邵永阳    时间: 2013-4-11 11:29
弄得我不知道怎么办了
作者: weiweihongyan    时间: 2013-4-23 10:29
javaEE和物联云的课程体系说明和介绍 什么时候出来？
作者: wuddd    时间: 2013-4-24 22:55
weiweihongyan 发表于 2013-4-23 10:29
javaEE和物联云的课程体系说明和介绍 什么时候出来？

这个需要咨询网站客服，我只负责讲hadoop
作者: Sword    时间: 2013-4-25 01:54
老师，有一点我不明白，hadoop不是新兴的技术吗？那些公司怎么还要那么多年的工作经验？是软件开发的经验还是hadoop的经验呢？
作者: jinhu358    时间: 2013-5-4 17:24
哈哈， 有嘛呢 ！     什么不会学什么呗 ！    加油  
作者: 向德伟    时间: 2013-5-19 14:07
云技术,是现在最新的技术啊,了解一下,挺好的
作者: zhou5852    时间: 2013-9-15 10:49
一直对"云"的认识有点晕,大学看的第一本云计算的书 开头先从算盘讲起,然后再讲分布式计算,发展网格计算,云计算,我在不清楚云计算与集群计算的区别的时候,问了一个哈工大毕业的学生,它是软件工程的,他告诉我是世界上所有的计算机集群,我以目前的目光看,感觉云计算就是喊的比较厉害,而实在的却很难,很多问题需要解决,的确如果有一天真能集群了,那对于我所向往的专业中的课题,进行胰岛素分子的模拟的时候,我们将不再需要租用国家的超级计算机进行计算了,而是下达计算任务,由控制器端向各个子计算节点下达任务,这样的目标要是实现了,我们的药物研发,药物模拟设计不知道能加速多少倍,而且如果能快速计算出来靶向分子的结合位点,那么世界化工业,药物生产业都不知道能加速多少,然而这些想法在目前的实际看来的确太空虚了,我也是想学这个方面的知识,如果硬件平台真能整合到一块,然后能够编写控制端程序,想想也是件很惬意的事情~~~~~~
作者: cyaimyt    时间: 2015-2-9 13:06
hadoop有点深



欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2