黑马程序员技术交流社区
标题:
《大数据时代——生活、工作与思维的大变革》随感
[打印本页]
作者:
HHFSpeed
时间:
2015-1-14 22:13
标题:
《大数据时代——生活、工作与思维的大变革》随感
大数据时代已经到来。你因它收益，也受其所害。与传统小数据的样本随机性、数据精确度、因果关系论、结果群体化相比；在大数据时代， “样本=总体”（全数据模式）、数据混杂、探索相关关系、放弃群体追求个体。大数据时代有不同的参与者，匿名都无法保证你的隐私，它还威胁着自由意志。——《大数据时代——生活、工作于思维的大变革》读后感
为什么关注大数据
不管承认与否，大数据已经扑面而来。当我们抱怨各种网站在窥探窃取我们的各种隐私时，实际上已经在承受大数据带来的一些负面后果。但在抱怨之后，我们也可以关注、拥抱大数据的到来。事实上，大数据已无处不在，只是我们可能把它的存在看作理所当然，或者已经在信息化前进的道路上忽略了这点。
想想我们每天用的各种输入法或者搜索引擎，在他们智能化地根据我们敲打的前两个字或前几个音节就知道我们的想法时，我们已经是大数据的受益者。还有很多我们所不知的大数据的用处，谷歌翻译也是其产物之一，还有各种《大数据时代》时代中所列举的例子，例如基于大数据的飞机票价预测系统（就是告诉你什么时候订机票最便宜）。
大数据已经悄然存在，这不仅仅是基于互联网的发展使数据的产生出现了指数级的增长，也是物联网逐渐显现的后果（尽管以物联网为标志的时代还未到来，但各种传感器的存在已经在构建一个数据庞杂的系统）。更为重要的是，我们已经在享受大数据所带来的更为效率、更为便捷的生活，《大数据时代》从公共卫生、社区安全等多方面展示了大数据时代的更好生活。当然，大多数描述的似乎在国内并不多见。
大数据的核心——预测（大数据&小数据）
大数据的存在目的是什么？显然不是因为我们有了更好的收集和存储能力。为数据而数据是对技术进步的极大讽刺。当大数据有益于做出某种改善时，它的存在和发展才有动力。而这种改善，在书的作者看来就是大数据的核心——预测。大数据可以改善预测的结果，或者说，对传统小数据时代的预测进行颠覆性的变革。
小数据时代的特点是什么，样本随机性、数据精确度、因果关系论、结果群体化。但凡做过点研究的人，都知道抽样，统计学为我们证明了对于一项研究，样本选择的随机性比样本数量更重要。但是其成功所依赖的随机抽样本身就是个难以实现的命题。也正因为如此，我们要求抽样数据尽量精确，因为对于较少的样本量而言，这是减少错误、保证质量的必要条件。（所以很多时候，对于问卷中调查者不愿填写的一些个人信息，我们要不不舍地把它作为无效样本，或者很自觉地将其补充完整）。小数据时代，我们总是在做各种各样的因果关系验证，尤其是基于某种假设的验证。这种因果关系也成为我们现今生活的一个基础。我们总愿意为各种现象找寻原因，或者在两种现象中建立简单的你因我果的关系，放佛因此世界才会简单明了。小数据时代的另一个特点就是，基于上述分析方法得出的预测结果针对的是群体，我们为这一群体内定了一个“画像”，然后用这一标准的画像去衡量远大于样本的一类人。就像在车站等人群集中的场所，警察会对某些人进行身份检查，而这些人绝不是随机产生的，很可能是根据过往的一定范围（或数据）的经验描绘出的“画像”。
大数据时代颠覆了上述的一些情况，尽管这种颠覆还未完成或者仅仅是刚开始。在大数据时代，数据收集、存储和分析工具的极大提升使“样本=总体”得以实现，即作者所谓的“全数据模式”。为什么有必要进行全数据的分析，它克服了小数据时代的一些限制，也为更为复杂的世界的预测提供了可能。首先就是它包容了数据的不精确性，因为结果的预测不依赖于部分数据的精确，它也能容忍小数据时代无法容忍的错误数据。更进一步的是，它拥抱数据的混杂性，这在小数据时代似乎是无法容忍的。在论证因果关系的小数据时代，需要控制变量，剔除“干扰”的数据，而在大数据时代，是探索各种变量之间的相关关系，借由各种似是而非的相关关系，预测各种后果的可能性。在相关关系下，大数据回答的是“是什么”的问题，而非“为什么”。或者说，大数据时代更接受复杂性，而非简单的线性因果逻辑。大数据的上述颠覆改变了传统基于群体的预测，它更为个性化，也为单个个体而定制。因为数据的量大、混杂，以及各种关联交叉分析，使得它区分不仅仅是概念上的群体，而是个人，“将群体特征附加于个人”在大数据时代似乎显得不合时宜。
大数据时代的参与者
大数据的发展需要有商业的推动。书的作者根据所提供价值的不同来源，将大数据公司分为三种：1. 基于数据本身的公司，他们拥有或者有能力收集到大量数据；2. 基于技能的公司，他们掌握分析使用数据或对数据进行创新性用途的才能；3. 基于思维的公司，他们有怎样挖掘数据新价值的独特想法。更明白的说，就是有数据、有想法、有分析工具。这也从三个方面提出了企业在大数据时代的生存法则，善于收集数据、知道用数据的目的、有能力用数据。当然，这并不代表着亲力亲为。
大数据时代与个人隐私
如果说网络时代是对个人隐私的极大冲击，那么大数据时代的到来无疑又将这种冲击向前推了一大步。因为过去个人身份信息所包含的内容相对较少，只要确保这些信息不被使用即可，而在大数据时代，即使是没有危害的数据，只要被采集到足够的里昂，也会暴露个人身份。匿名化在大数据时代变得无效：一是我们收集到的数据越来越多，二是我们会结合越来越多不同来源的数据。因此，大数据时代也要求新的准则的建立。
大数据与人的自由意志
看似没有多大关联的两个事物，但如果把大数据作为技术进步的一部分，技术之于人类社会的作用就是一个长久讨论的问题了。大数据的核心是预测，极端的情况就是包括人类的行为和态度也可以因此被预测（也许这并不极端）。当个人的犯罪率或者再犯罪率可以预测的时候（书中的例子），我们因此采取的各种预防措施也理所当然，这时就是直面大数据与人的自由的矛盾冲突。当大数据成为限制人们自由的佐证，或者成为对人们态度或行为的决断，那我们追寻的人类进步又被至于了何处？
书中的一句话很好的诠释了大数据时代的意义。“拥有知识曾意味着掌握过去，现在则更意味着预测未来。”关于大数据的种种，更多的答案还在未来。
作者:
以利亚
时间:
2015-1-15 09:13
你说这老些有啥用啊
作者:
18255007004
时间:
2015-1-15 14:21
这个，大数据可能。。。。
作者:
沌沌愚人心
时间:
2015-1-15 18:42
那就将内心暴漏在阳光下，保持永远的灿烂。
作者:
qiezhiyi
时间:
2015-1-16 10:46
大数据，飘过！
作者:
六悦唯夏
时间:
2015-1-16 11:27
我就是来顶贴的
作者:
梦开始的地方
时间:
2015-1-16 13:46
大数据是技术工具，改变了我们的思维，也是优质服务，使我们生活的更好。
作者:
jyl3203217
时间:
2015-1-16 22:25
大数据时代是什么时代！
作者:
飞翔的蜗牛
时间:
2015-1-16 22:49
看看。。。。。
作者:
还是菜鸟
时间:
2015-1-17 00:00
看看，了解下
作者:
王者之风西昆仑
时间:
2015-1-17 16:46
感谢分享，对大数据有了更多的了解
作者:
张宁111
时间:
2015-1-17 23:03
谢谢对我很有用
作者:
一朵奇葩
时间:
2015-1-18 21:33
我就是来顶贴的
作者:
飞流至寒
时间:
2015-1-18 21:40
好好看看……
作者:
张宁111
时间:
2015-1-19 22:40
小手一抖，积分到手
作者:
飞翔的蜗牛
时间:
2015-1-20 23:29
来看看。。。。
作者:
刘运召
时间:
2015-1-20 23:45
我就是来顶贴的
作者:
张宁111
时间:
2015-1-21 21:24
小手一抖疾风到手。
作者:
SNXJ
时间:
2015-1-21 21:34
大数据是趋势啊
作者:
xyycici
时间:
2015-1-21 21:36
顶一下。
作者:
我jiu是wo
时间:
2015-1-22 07:47
赞。
作者:
张宁111
时间:
2015-1-23 22:39
小手一抖积分到手
作者:
gzf201314
时间:
2015-1-24 17:25
顶一次哈哈
作者:
张宁111
时间:
2015-1-25 22:08
小手一抖，积分到手
作者:
张宁111
时间:
2015-1-27 22:56
不错顶~~！！！@
作者:
程豆浆
时间:
2015-1-29 08:30
长知识了！~
作者:
风魂
时间:
2015-1-29 13:33
赞一个！！
作者:
yunxiao
时间:
2015-1-30 13:52
看看，飘过
作者:
亚特兰蒂斯
时间:
2015-1-30 23:31
来看看:lol:lol:lol:lol:lol
作者:
王者之风西昆仑
时间:
2015-1-31 14:57
写的很好啊
作者:
王者之风西昆仑
时间:
2015-1-31 15:06
非常好哦
作者:
张宁111
时间:
2015-1-31 23:13
顶帖.顶``````````````````
作者:
骑士向前
时间:
2015-2-3 20:43
ffighting！ffighting！
作者:
hypoyan
时间:
2015-2-4 01:20
大数据在崛起…
作者:
亚特兰蒂斯
时间:
2015-2-4 19:57
顶顶顶{:2_34:}
作者:
许慎誉
时间:
2015-2-4 22:29
赞一个 写的很好
作者:
jiao
时间:
2015-2-5 13:33
赞赞赞！！
作者:
奔跑的猴子
时间:
2015-2-5 14:22
赞一个
作者:
亚特兰蒂斯
时间:
2015-2-5 20:26
签个到。。。。
作者:
木子轩
时间:
2015-2-6 18:36
大数据才刚刚起步，未来怎么走还不明朗....
作者:
qiezhiyi
时间:
2015-2-10 16:00
路过中！
作者:
huangshengsen
时间:
2015-2-12 11:06
刷刷h币
作者:
亚特兰蒂斯
时间:
2015-2-15 20:28
数据库系统
作者:
此情可待
时间:
2015-2-16 12:02
我就是来顶贴的
作者:
huangshengsen
时间:
2015-2-16 12:58
刷刷h币
作者:
huangshengsen
时间:
2015-2-16 12:59
刷刷h币
作者:
亚特兰蒂斯
时间:
2015-2-16 21:14
新年了！！
作者:
xyf19881010
时间:
2015-2-17 14:57
听说刷刷有H币，我也来试试
作者:
416679828
时间:
2015-2-22 15:09
大数据？？？？？？？？？
作者:
剑锋1
时间:
2015-2-24 13:57
拥有知识曾意味着掌握过去，现在则更意味着预测未来
作者:
forDream
时间:
2015-2-25 22:23
我来看看
作者:
刘力玮
时间:
2015-2-26 12:17
大数据hadoop
作者:
自学小番薯
时间:
2015-3-1 17:58
来看看~~~
作者:
班凤飞
时间:
2015-3-4 11:27
虽然看不大懂，但是感觉好牛
作者:
keys
时间:
2015-3-8 16:34
理性看问题，多关注
作者:
keys
时间:
2015-3-9 20:53
大数据，不错的方向
作者:
为梦想而生
时间:
2015-3-10 12:37
大数据的发展很快 时代变化
作者:
378939632
时间:
2015-3-10 22:07
不是很了解
作者:
matthewjk
时间:
2015-3-11 20:02
我只是路过，还是顶一下
作者:
浓眉小眼
时间:
2015-3-11 21:19
大数据确实越来越火了
作者:
maryuet
时间:
2015-3-12 23:13
现在大数据在企业里用的比较广了。
作者:
小小迪
时间:
2015-3-13 16:11
飘过留痕:)
作者:
zhouchaoone
时间:
2015-3-14 01:00
好没有营养。。。。。。
作者:
yihuyixi2
时间:
2015-3-14 18:07
以后就是大数据时代了，物联网很神奇啊
作者:
wildcat
时间:
2015-3-14 22:05
大数据还没真正见识过呢 ！！！ 给个实际案例
作者:
welfsen
时间:
2015-3-15 14:00
顶一下！
作者:
958316737
时间:
2015-3-15 20:40
大数据时代让我们的生活更美好！！！
作者:
zhaotiao3080
时间:
2015-3-16 08:29
大数据是发展趋势 有利有弊 但是利大于弊
作者:
曹小不
时间:
2015-3-16 09:11
生活中其实很容易接触到大数据和云计算。
作者:
柯泉
时间:
2015-3-17 00:10
网络编程发展迅猛，希望我们能赶上最后一班车
作者:
keven1119
时间:
2015-3-18 15:47
大数据未来发展大大的
作者:
aichaobao
时间:
2015-3-20 10:39
大数据貌似现在很流行啊
作者:
竹子
时间:
2015-3-20 10:55
支持一下。。。。
作者:
wildcat
时间:
2015-3-20 19:09
很快就要来了 ！！！
作者:
NewOnce`
时间:
2015-3-20 19:41
大数据有朋友 有些纠结
作者:
1203831353
时间:
2015-3-21 10:12
大数据将会是未来网络发展的一种趋势。。。。
作者:
小小的黑马
时间:
2015-3-21 22:24
来看看，顶个贴！！！！！:lol
作者:
朱令娟
时间:
2015-3-22 01:27
大数据在隐私这儿是很恐怖的，表示仰慕大数据一下
作者:
wwwlcy
时间:
2015-3-22 20:08
顶下！！！！！
作者:
瀚海狼烟
时间:
2015-3-23 11:13
拥有知识曾意味着掌握过去，现在则更意味着预测未来。
作者:
DK_bai
时间:
2015-3-23 21:44
大数据意味着无限可能？
作者:
yywishp
时间:
2015-3-24 20:19
国外的大数据做的比较的完善，国内还在起步阶段
作者:
ordinary
时间:
2015-3-26 10:58
以后是不是都会向大数据走啊
欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)
黑马程序员IT技术论坛 X3.2