黑马程序员技术交流社区
标题: 【阳哥专栏】大数据跟云计算的关系 [打印本页]
作者: 王震阳老师 时间: 2014-5-17 20:33
标题: 【阳哥专栏】大数据跟云计算的关系
声明：该文章来源于网络，非版主原创，推荐这篇文章是因为最近有不少黑友咨询自己什么是大数据什么是云计算以及大数据跟云计算的关系，那么读了这篇文章相信你对大数据以及云计算会有较为深刻的理解。
该文章中示意图提到的云计算处理技术Hbase/HDFS/MapReduce等均来自Hadoop，而Hadoop则是黑马云计算学科的压轴课程。
第三次浪潮的华彩乐章
1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。
什么是大数据
1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。
大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。
有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。
大数据从何而来
美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。此外,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及各种各样的传感器,无一不是数据来源或者承载的方式。
大数据有多大
仅以互联网为例,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个,相当于《时代》杂志770年的文字量……
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
大数据的“4个V”
大数据的4个“V”指的是大数据的4个特点:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多,数据来源于各种各样的渠道。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。一般要在秒级时间范围内给出分析结果,时间太长就失去价值了。这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。
由此,业界将大数据的特点归纳为4个“V”——Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)。
什么是云计算?
云计算(cloud computing)是通过互联网把多个成本较低的计算实体整合成一个具有强大计算能力的完美系统。简单理解就是,运营公司提供服务器、应用程序、存储空间,用户通过网络远程登录服务器,并按照需要使用这些存储空间和应用程序。狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。它意味着计算能力也可作为一种商品通过互联网进行流通和交易。
大数据与云计算
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
数字时代的石油与黄金
一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……
巨大的数据量,意味着什么?
大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。
“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”哈佛大学社会学教授加里·金指出。
业内人士指出,大数据是一种全新的致富手段,它的价值堪比石油和黄金。
虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。首先,手中握有数据的公司站在金矿上,基于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。
数据——
未来最大的交易商品
未来,数据可能成为最大的交易商品。
IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了新的黄金时代。
大数据正在重构很多传统行业。通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出新的商业模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。在零售业中,数据分析的技术与手段更得到广泛的应用,卓越亚马逊、淘宝等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
与此同时,大数据在社会管理等方面,也具有不可替代的重大价值。
作者: 帅哥哥 时间: 2014-5-17 20:35
阳哥的沙发必须抢~~~
作者: 王震阳老师 时间: 2014-5-17 20:36
:handshake
作者: hengxing0079 时间: 2014-5-17 21:34
哈，刚才我还问阳哥大数据是什么呢，这么一会详细的帖子就来啦，Mark已阅收藏，3Q！
作者: LJZkevin 时间: 2014-5-17 21:58
总结的不错，学到很多
作者: 屋檐下的期待 时间: 2014-5-18 00:01
谢谢分享！！！++++++顶
作者: 王震阳老师 时间: 2014-5-18 00:17
就是给你发的
作者: hengxing0079 时间: 2014-5-18 00:19
感激之情如滔滔江水连绵不绝，谢字不多说，我会努力早点去黑马的，到时候请阳哥多多指教！
作者: 苏周周 时间: 2014-5-18 00:25
进来了解
作者: AntThinking_toT 时间: 2014-5-18 10:28
长姿势了。
作者: 黑马—张帅 时间: 2014-5-18 11:33
涨姿势了但要是更加通俗实例化就更好了
作者: 茄子 时间: 2014-5-18 16:32
香水有毒啊，已经决定退出云计算，进军安卓了
作者: jsjchenlong 时间: 2014-5-18 16:35
谢谢，分享啊
作者: 教皇 时间: 2014-5-18 21:19
多谢分享。。
作者: Seraphim 时间: 2014-5-18 21:20
好贴帮顶~
作者: ˙▎._灬乖囧猫 时间: 2014-5-19 08:31
收藏啦。。。
作者: chang清 时间: 2014-5-19 09:53
顶顶顶顶……
作者: pancl 时间: 2014-5-19 12:51
多谢阳哥 普及新知识 真张见识
作者: hx小龙 时间: 2014-5-19 18:32
多谢！这个论坛真的给我带来了很多新的视野！
作者: toselect 时间: 2014-5-19 19:21
拓宽下见识。
作者: 喜爱 时间: 2014-5-20 10:20
必须的赞啊！
作者: 曲线 时间: 2014-5-21 14:19
恩 不错哦。。。。。。。。。。
作者: 韩前成 时间: 2014-5-21 19:07
请教楼主，咱们的云计算课程，学完之后，可以达到什么样的水平！
作者: 枫叶零渡 时间: 2014-5-21 20:45
过来了解下
作者: wuhyoung 时间: 2014-5-22 09:17
:lol学习了，很棒
作者: dongdong5982 时间: 2014-5-22 10:35
嗯，现在明白了一些
作者: 曲线 时间: 2014-5-22 13:27
赞。。。。。。。。。。。。。。
作者: 小思883 时间: 2014-5-22 16:47
资源共享，好事，大家都好好学，加油哦！
作者: 假Rǔ有⒈兲 时间: 2014-5-22 19:03
详细的 看看
作者: 谜燕 时间: 2014-5-22 20:52
长知识了
作者: java木 时间: 2014-5-22 22:43
长见识了，谢谢楼主推荐的文章
作者: 呀嘛咕 时间: 2014-5-23 17:20
想学~~~~~~~~~~~~~~~~~~~~~~~~~
作者: lhj 时间: 2014-5-23 17:34
原来云计算是这么回事
作者: More 时间: 2014-5-23 21:43
本来不知道选择Andorid还是云计算 看过之后决定学云 前景真好
作者: 曲线 时间: 2014-5-23 22:19
来看看。。。。。。。。。。。。。
作者: 王震阳老师 时间: 2014-5-23 22:24
但是学的知识面很广，难度也是有的。先学好javaSE是最主要的。
作者: 曲线 时间: 2014-5-24 20:10
顶。。。。。。。。。。。。。。。
作者: 酱油炒饭 时间: 2014-5-25 00:27
不错不错 学习学习~
作者: 何堂红 时间: 2014-5-25 10:53
为什么要退出云计算啊？我还准备进云计算呢。
作者: 不羁的风1230 时间: 2014-5-25 11:17
很好很好
作者: 茄子 时间: 2014-5-25 14:32
我也是想了好久才做的决定！！！如果我可以在Java方面工作十年，或许我会选择云计算……你呢
作者: メ哈利路亚ゞ 时间: 2014-5-25 16:14
长知识了！感谢！
作者: 带眼镜的向日葵 时间: 2014-5-25 20:45
要学习的东西还有好多好多呀！谢谢啦！
作者: 何堂红 时间: 2014-5-25 21:09
我对这一行还不太了解，只是跟着模模糊糊感觉走以及自己对未来行业的初步判断而已:)
作者: 茄子 时间: 2014-5-25 22:05
希望我们每个人都是对的！！！加油啊，同学！！！
作者: 何堂红 时间: 2014-5-27 00:45
嗯，加油
作者: X-Sniper²º¹ 时间: 2014-5-28 12:26
顶一个！！！
作者: 枫桥夜泊 时间: 2014-5-28 21:19
受益匪浅呀！！！！！
作者: yeqiang 时间: 2014-5-28 22:54
确实是我们都想知道的信息啊
作者: 姜游东 时间: 2014-5-28 23:52
谢谢分享！！
作者: 明日辉煌 时间: 2014-5-29 07:18
长知识了，有点懂了！
作者: jsjchenlong 时间: 2014-5-29 09:33
谢谢，分享啊
作者: 热血青年 时间: 2014-5-29 22:32
多谢分享~~~~~~~~~~~~~
作者: 任黎明 时间: 2014-5-29 23:54
新手，冒个泡，论坛什么的一头雾水，报名好麻烦啊
作者: yuZhe_toString 时间: 2014-5-30 09:07
涨姿势了
作者: 任黎明 时间: 2014-5-30 20:44
哦来了，还不知道怎么获取技术分，好麻烦啊
作者: 马宁 时间: 2014-5-30 21:19
谢谢分享啊
作者: idency 时间: 2014-5-30 21:44
学习了!有帮助
作者: hamiguadjs 时间: 2014-5-30 23:27
很给力，及时提供有效的说明，收藏了！
作者: true 时间: 2014-5-31 08:02
说的很不错
作者: 万马奔腾 时间: 2014-5-31 16:38
大数据，必须顶起
作者: 宁致远 时间: 2014-6-1 08:48
大数据 来临，这才是真正的信息时代
作者: Autumn 时间: 2014-6-1 11:11
有点懂了
作者: true 时间: 2014-6-1 12:12
再次围观
作者: true 时间: 2014-6-1 14:34
果断收藏了，好东西
作者: 为了心中的梦 时间: 2014-6-1 15:13
好东西 赞
作者: Dark_Horse 时间: 2014-6-1 15:31
收藏起来看看
作者: 27ZJQ 时间: 2014-6-2 00:29
大数据听起来很玄乎啊。
作者: 支胜勇 时间: 2014-6-2 00:57
谢谢版主！
作者: 带眼镜的向日葵 时间: 2014-6-2 14:02
收益中，以后和阳哥多多沟通。求带队，共同进步。
作者: 马宁 时间: 2014-6-2 23:08
长知识了 ...
作者: AlanHand 时间: 2014-6-3 09:40
阳哥威武
作者: 曲儿╭(╯3╰)╮ 时间: 2014-6-5 11:08
很好的帖子， 了解一下
作者: 736275909 时间: 2014-6-6 09:47
涨姿势了哈哈
作者: 小熊星座 时间: 2014-6-7 14:18
学习一下。大数据，云，现在都在热议啊。
作者: cyc52tjm 时间: 2014-6-7 23:18
谢谢分享，我有点懂了、果断收藏了
作者: Hello_U 时间: 2014-6-8 04:16
够详细，关键是有图，能够理解其中的那么点意思。
作者: 清规欲 时间: 2014-6-8 08:09
恩恩，明白了好多
作者: Rodgers 时间: 2014-6-9 00:55
谢谢阳哥的科普啦
作者: 华夏文明_2008 时间: 2014-6-9 20:44
为什么？我正犹豫安卓和云怎么选，请赐教
作者: 枫桥夜泊 时间: 2014-6-9 21:07
我一直在纠结学android还是云，现在下定决心了！！！！
作者: 茄子 时间: 2014-6-9 22:49
http://bbs.itheima.com/thread-119853-1-1.html
看看这个，是阳哥给我哦建议！！！在最下面！！！
作者: ．ˋＭr.Ivan 时间: 2014-6-10 18:13
阳哥给力
作者: 寐海流风 时间: 2014-6-12 11:45
了解了知识的必须顶。
作者: 吴长浩 时间: 2014-6-12 13:15
支持阳哥。。。。顶一下
作者: 揣在兜里的手 时间: 2014-6-12 19:26
原来如此
作者: 探花 时间: 2014-6-15 15:10
多谢阳哥 普及新知识 真张见识
作者: hm1314 时间: 2014-6-15 19:33
学习了。
作者: 华夏文明_2008 时间: 2014-6-20 10:40
谢谢！:D
作者: lilin202011 时间: 2014-6-21 23:42
不错收藏了
作者: 愤怒的小蔡！ 时间: 2014-6-22 00:03
看来云计算前途无量啊
作者: ╭月牙湾湾╮ 时间: 2014-6-22 00:04
多谢阳哥，学习了。
作者: 微行者 时间: 2014-6-27 23:42
很看好云计算的未来
作者: 跑步先生 时间: 2014-6-29 09:56
不错，看来楼主是认真思考过的
作者: Leung 时间: 2014-6-29 11:13
了解一下 ，学习学习
作者: yueyazhishang 时间: 2014-7-1 18:42
楼主辛苦了，很想参加培训
作者: hadfs 时间: 2014-7-2 11:45
高大上~
作者: 蒙鹏飞 时间: 2014-7-3 23:31
看多了大数据都想跑北京学了，真是太远！！
作者: 么哒你个么哒 时间: 2014-7-4 00:26
不错顶一下
作者: 罗海清 时间: 2014-7-4 14:23
我能收藏吗
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) |
黑马程序员IT技术论坛 X3.2 |