A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 等个馒头 初级黑马   /  2019-8-25 18:54  /  931 人查看  /  0 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

          从七月中旬到现在已经快两个月了,说一下对大数据的一些知识吧
大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析处理,比如各个浏览引擎。然而,大数据的真正提出却是源自2008.09.03 《Nature》专刊的一篇论文,紧接着,产业界也不断跟进,麦肯锡于2011.06 发布麦肯锡全球研究院报告,标志着大数据在产业界的真正兴起,随着白宫发布大数据研发法案,政府开始加入大数据的角逐。

1.2定义
bigdata 我们经常用4个V来定义大数据:容量、多样性、吞吐量、价值。即大数据必须是数量大(至少T、P级别),来源多,大部分为非结构化,且进出分析系统的速度快,并以获取价值为目的的数据。

2移动互联网的大数据特征
2.1web2.0与广义移动互联网
Web2.0指以朋友圈、微博等为代表的资讯交流分享型互联网,而广义移动互联网,则是通过无线方式实现互联网、物联网和社会网络的连接。
2.2数据特征
移动互联网的数据具有移动性、复杂性、社会性的特征。首先,节点是具有移动性的,它具有普适感知的功能。其次,网络是具有复杂性的,通过网络可以进行多元感知,最后个体是具有社会性的,所以他也具有社会感知的作用。
2.3数据类型
移动互联网产生两种类型数据:一是人传输的数据(UGU),它源自人的自我表达需求。一是机器产生的数据(MGC),其源自科技、军事、商业的需求。
2.4智能感知&服务
目前的移动互联网有一条缺失的链条—智能感知&服务。我们知道,互联网解决的是人与人信息交换的问题,物联网解决的是物与物信息交换的问题。而智能化服务需要人与自然与社会的交叉感知,移动互联网和大数据技术就是它的桥梁。
2.5智慧城市
我认为,智慧城市=数字城市+移动互联网+物联网+云计算,而要实现则需要移动互联网将互联网、人际关系网、物联网进行三网融合。

3机遇与挑战
3.1机遇
大数据给我们带来了机遇和挑战,我们是否能从中受益则需要看我们怎么对待这些机遇和挑战。大数据的机遇是明显的,各种大平台的数据采集与公开,MapReduce等数据分析平台的开放,以及各领域数据挖掘服务的提供,使我们获得数据变得更加容易。而这些丰富的数据更是带来了众多的创新机会,任何领域的数据都可能对这个领域造成巨大的影响。
3.2挑战
当然大数据也给我们带来了很多挑战。一、数据共享与数据私有的矛盾。大数据的价值是稀疏的,而大量的数据往往被大公司垄断,因此对于一般人来说,数据的共享变得十分重要,而其中一个解决方法就是建立一个共享的数据中心。二、数据洪流与技术滞后的矛盾。首先是数据存储能力与处理不匹配,对此我们可以采用对数据流进行实时处理、就近原则存储和处理原始数据、购买数据存储和分析服务等方法进行解决。再者,是分析手段与性能需求不匹配,主要原因是因为传统数据仓库不再使用于大数据分析,对于此我们可以采用大规模并发、Map-Reduce分布式计算、NoSQL管理并发存取等方法进行处理。三是社会需求与人才匮乏的矛盾。对此,培养优秀大数据人才已是当务之急。

0 个回复

您需要登录后才可以回帖 登录 | 加入黑马