黑马程序员技术交流社区

标题: 学习经历 [打印本页]

作者: 616719569    时间: 2019-12-24 16:34
标题: 学习经历
大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含

数据生产者真实意图、喜好的,非传统结构和意义的数据


2013


5

10
日,阿里巴巴集团董事
局主席马云在淘宝十周年晚会上,将卸任阿里集团
CEO

的职位,并在晚会上做卸任前的演讲,马云
说,
大家还没搞清
PC
时代的时候,
移动互联网来了,
还没搞清移动互联网的时候,
大数据时代来了。
  






从海量数据中

提纯

出有用的信息,
这对网络架构和数据处理能力而言也是巨大的挑战。
在经
历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。
2012

3

22

日,奥
巴马政府宣布投资
2
亿美元拉动大数据相关产业发展,将

大数据战略


上升为国家战略。奥巴马政府
甚至将大数据定义为

未来的新石油



  






大数据就是互联网发展到现今阶段的一种表象或特征而已,有必要神话它或对它保持敬畏之
心,
在以云计算为代表的技术创新大幕的衬托下,
这些原本很难收集和使用的数据开始容易被利用起
来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

  




大多数传统
BI
工具都受到以下两个方面的局限:
  





首先,它们都是

预设
-
抓取

工具,由分析师预先确定收集什么数据用于分析。
  





其次,它们都专注于报告

已知的未知



Known unknowns

,也就是我们知道问题是什么,然
后去找答案。

(而大数据会给而大数据会给出一些未知的未知,
也就是你没有想到的一些问题的结果)

传统
BI
工具主要用于企业运营,侧重于成本控制和计划执行报告。而大数据技术最主要的功能
/
应用

ETL

Extract

Transform

Load


。将近
80%


Hadoop
应用都与
ETL
有关,
例如在导入
Vertica
这样的分析数据库之前对日志文件或传感器数据的处理。
  






今天计算和存储硬件变得非常便宜,配合大量的开源大数据工具,人们可以非常

奢侈

地先抓
取大量数据再考虑分析命题。可以说,低廉的计算资源正在改变我们使用数据的方式。
  





此外,处理性能的大幅提高(例如内存计算)使得实时互动分析更加容易实现,而

实时








BI
带到了一个新的境界
――
未知的未知。这也是大数据分析与传统
BI

之间最大的区别




欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2