《大数据时代》读后感
舍恩伯格的《大数据时代》被人推崇为2012最佳书籍,今年安泰读书会的重头戏。虽然主讲人最后放了个香港大黄鸭般的鸽子,但现场讨论氛围依旧非常热烈而且还是在没几个人读完的情况下,也就意味着大数据对我们的影响,已经深入到生活的方方面面。这本书对这个大规模产生、分享和应用数据的新的大时代进行了阐述和厘清,作者围绕要全体不要抽样、要效率不要绝对精确、要相关不要因果三大理念,通过数十个商业和学术案例,剖析了万事万物数据化和数据复用挖掘的巨大价值。
无处不在的大数据:各种云计算,谷歌的神通,亚马逊的推送,天涯人肉,微博万能等等等等,我们掌握了新的工具,也获取了以前从未有过的各种信息。大数据拉近了我们与现实的距离,地球村变成了地球屋,仿佛所有人所有事物都触手可及,而这些牛逼哄哄的互联网巨头就在客厅展示着世界的每一寸光景。如作者所言大数据开启了一次重大时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们看清微生物一样,大数据要改变的是,我们的生活方方面面以及理解世界的方式。比如,谷歌通过全球搜索分析,比国际疾病控防中心更早更准地预测了流感爆发。
然而,事实真的是这样吗?首先,从应用角度出发,低廉的运算能力和存储空间,让以前的样本分析显得非常简陋一些从全体数据挖掘出来,忽略精确而从大量数据的简单算法得出来的结论颠覆了常识。但个人觉得,这只是统计学的终极目标并没有非常大的跨越,可能终结了回归分析,有效性验证等手段,但依旧还是统计。而革命性在于关注相关关系而非因果关系。现场讨论从神学角度挑战了因果关系的不可能或者说人类用简单思考的逻辑来定义因果,以及用之前小数据演绎出大概率事件来推导因果,都是不正确的。真正的因果关系应该属于上帝的范畴,人类如果真的完全掌握之后,会统治整个宇宙。
但我觉得,无需从神学观点来讨论,而可以借鉴量子力学对经典力学的颠覆在原子层面上,经典力学会失效那么在大数据层面上,普通的抽样调查直观反映会失效。而且从量子力学角度是很难推导经典力学的公式,那么从现在的惯有思维,也难以推导出大数据的因果关系。同时现场有讨论,是否计算机可以精确地模拟每个原子,然后完整地展现微观到宏观的化学反应细节?我觉得首先是计算能力不足,其次即便设定原子的运动条件真的正确,计算结果未知但宏观结果我们却已经知道牛顿的经典力学足以应付日常绝大部分情况了。好比切西瓜,究竟刀头的铁原子和西瓜的有机分子如何作用,真的重要吗?回归到商业领域,如果我们可以提高相关性的准确度,从而提高投入效率,那就已经足够了。本来一个产品受到一半客户喜欢,但如果通过大数据挖掘到更好的定位,有百分之八十的客户喜欢,那么价值已经非常可观了。
大数据时代的社会伦理很大的命题,但重点都在讨论如何保护个人隐私。因为手机越来越智能,网络越来越快,个人的信息也越来越透明隐形几乎完全不可能。我想说的是,作为硬币的另外一面,我们无法舍弃:互联网只不过是让人与人之间碎片的关系得以统一,其实各种人肉和信息只不过是坊间传闻的升级罢了。当我们住在拥挤的小区,三公里走完一圈的县城,半小时散步完的村落,人和人之间有隐私吗?现在只不过是把这个范围放大到了一个地球而已。硬币的一面是人和人之间有沟通的需要,去团结对抗世界的未知,那么另外一面就是隐私的缺乏。与其说是要在大数据时代保护自己的信息不被泄露,不如站起来维护自己和他人的隐私,从法律和道德的角度来尊重人与人之间的权利。在一个互相尊重的环境下,你可以穿热裤,他也可以穿长裙走上街头;在一个互相践踏的社会中,人人都得带着面具生活。
在思维变革部分,作者讲述的重点是:样本=总体,我们需要对全部数据的占有和分析;因此,数据缺乏时代的精确性不必执迷,接受混杂基于大数据的简单算法比小数据的复杂算法更有效;样本推断的因果关系不重要了,知道是什么的相关关系,或者结果就可以了。对于我自己最受用的是什么呢?是大数据的产业链。产业链包括大数据平台、大数据技术提供方、大数据理念提供方。我认为大数据平台是整个产业链条的核心,没有数据,再好的技术和理念都会是无米之炊。那么大数据平台在当前的中国社会有哪些呢?所有的互联网公司,物联网公司,物流,快消品等等,实际上任何公司都是数据平台公司,只不过之前没有好好的利用数据,而更多的是用经验来管理公司和迎合客户需求。现在不一样了,我们完全可以用数据来驱动公司管理和客户管理,毕竟数据是不会骗人的。
大数据帮助我们把未来的迷雾拨开了一点,但好比《沉重的肉身》当中讨论的,更多的选择权并不能带给人幸福因为知道自己不能做不能得到的也更多了。解决工作模式,生存意义,幸福之道等问题,关键还是看自己如何看待和使用这些新式工具以及新结论。引用《神探伽利略》里面的台词:可被重复的,一定有道理存在。那么现在重复的越来越多,更需要保持探索和敬畏之心,人才不会迷路。
我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。这个命题是我读这本书最大的感触。个人认为也是这本书最核心的思想。从头说起吧,首先,书提出一个颠覆我以前认知的命题--并非原子而是信息才是一切的本源,将世界看做信息,看做可以理解的数据的海洋,为我们提供了一个从未有过的审视下是的视角。它是一种可以渗透到所有生活领域的世界观。这个命题是在书的最后一部分中的某一段中描写的。我之所以把它放在最前面来讲,因为我觉得,这是谈数据化世界的前提,自然也是谈论大数据的前提啦。书的中间部分有一节讲到数据化和数字化的区别。经过我自己脑子的整理,把数据化世界这个命题列为大数据思维的第二步。写到这里,我不由得反省下,我是不是有领悟到书的精髓所在(我认为的精髓),就是第一句话。因为回顾我整个思路,还是按照旧模式的因果关系思考模式思考问题。书中另一个吸引我的地方就是,有很多观点的论述,会从哲学的高度论述。虽然,自己肚子没多少墨水,但是读这些描述的时候,就会发现自己会更好的理解作者提出的命题。比如书中有一段文字
当我们说人类是通过因果关系了解世界时,我们指的是我们再理解和解释世界各种现象时使用的两种基本方法:一种是通过快速、虚幻的因果关系,还有一种就是通过缓慢、有条不紊的因果关系。大数据会改变这两种基本方法在我们认识世界时所扮演的角色。
在附上一些事例的时候,用作者提供的本质去看待时,很容易理解,确实是这么回事。好了,那么大数据到底改变了我们什么呢,作者给出3点,
大数据的精髓在于我们分析信息时的三个转变,这些转变讲改变我们理解和组建社会的方法。
第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(样本=总体)
第二个转变就是,研究数据如此之多,以至于我们不再热衷于追求精确度
第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。大数据告诉我们是什么而不是为什么。在大数据时代,我们不必知道现象背后的原因,我们只要让数据自己发声。
正如大家所知道的那样,人类的大脑具备这样的功能,它会把新输入的刺激或信息与过去的经验或积累的部分知识相对照,然后进行调整并接受下来。如果眼前新的现实与大脑中储存的固有信息无法协调,便会在无意识中拒绝接受新的现实(当作没有看见);或者通过自己一知半解的知识任意推测,使自己认识到的情况偏离实际(产生错觉)。这是人的一种本能,目的在于使自己保持冷静。
所以作者称之为revolution。
讲了这么多,那么大数据到底给我们带来什么。在这里,我只想谈我感触最深的,其他的有兴趣的可以自己去了解。当然,书中提了很多,最多的就是,XXX公司或者个人利用大数据创造了多大的财富了,抛开这些表面的不说,最让我动心亦或者是害怕的是---预测。这是大数据带来最核心的东西,动心的理由无须赘述,计算机会告诉你什么时候买什么双色球可以中头奖,想想心里是不是有一点小激动咧。当然这只是我打的一个比较夸张的比喻。至于害怕呢,书中有段话我很喜欢
公平正义的基础是人只有做了某事才需要对它负责,毕竟,想做而未做不是犯罪,社会关系于个人责任的基本信条是,人为其选择的行为承担责任。如果大数据分析完全准确,那么我们的未来会被精准的预测,因此在未来,我们不仅会失去选择的权利,而且会按照预测去行动。如果精准的预测成为现实的话,我们也就失去了自由意志,失去了自由选择的权利。既然我们别无选择,那么我们也就不需要承担责任。这不是很讽刺吗。
扯到这里,顺便扯一下,书中另一段关于自由意志的描述
在哲学界,关于因果关系是否存在的争论已经持续了几个世纪。毕竟,如果凡事皆有因果的话,那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果。而这个结果又是由其他原因导致的。以此循环往复,那么就不存在人的自由意志这一说了。----所有的生命轨迹都只是受因果关系的控制了。因此,对于因果关系在世间所扮演的角色,哲学家们争论不休,有时他们认为,这是与自由意志相对立。
书中举了个例子,举了部电影《少数派报告》,当我看到这里的时候,哎哟,我居然看过这部电影,想想心里还是有点小激动,有兴趣的可以去看下,大概就是讲警察通过预测来提前抓捕犯人,不过不是通过大数据,是通过超人类的方式。当你什么举动都可以被预测,相当于你完全暴露在太阳光下,换成你,你害怕不。
最后,附上两段结语,一段是书中的一段话,另一段是我自己瞎编的
大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。
大数据终将会影响到我们,也像其他技术一样会是一把双刃剑,用得好,动心,滥用,害怕。如同核技术一样,用的话,造福地球,滥用,给个金刚石地球你,照样爆。我相信,未来的大数据的发展会如作者所说的,是一场生活、工作与思维的革命。
无论如何,大家看到这四个是不是有种,不管我上面扯得有没有道理,通不通顺,下面的话,会很有道理的样子的错觉(抄袭于《栋笃笑》)OK,无论如何,日子还是得照过。施主,我看你骨骼惊奇,是个练武奇才,最后送上《九阳神功》心法,以后维护世界和平的重任就交给你了。
他强由他强,清风抚山冈。
他横由他横,明月照大江。
他自狠来他自恶,我自一口真气足。
《大数据时代》读后感
文/李达
我们生活在一个概念纷飞的年代,先前只有IBM熟谙的招数,如今已经飞入平常百姓家。移动互联网、云计算的概念刚刚消停,业界的专家又送来了大数据的概念,一时间似乎人人都变成了大数据专家,见面要是不提大数据都不好意思跟人打招呼!
玩笑归玩笑,当我们的存储能力、计算能力和网络带宽变得充裕之后,我们先前对待数据,尤其是原始数据的态度和思维方式,将面临着很大的改变!
其实,作者的主要观点,已经在翻译者的译者序中进行了总结:大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。
如作者所言,采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物。如果可以,我们当然会使用全体数据而不是抽样数据。读到这里,我估计大学里正在绞尽脑汁设计样本抽样方法的学生、教授们,连哭的心都有!
数据分析的及时性,在很多情况下比精确性更加重要,尤其是在商业领域。想想看,如果需要两周时间才能计算出明天某个航班的满座率,那还有什么意义?大数据计算技术,适用的不是像卫星发射、开具银行账户这样的工作,而是不要求极端精确的情况,其核心是预测趋势,况且原始数据也可能出现差错。
过往千年,探究因果关系几乎是所有科学研究的原动力。甚至,这已经通过语言,融入我们的思维方式和哲学思想:因为所以,凡事都要问为什么。但是,在大数据的范畴里,关注的却是相关性,而不是因果关系,或者其次才是因果关系。超市只用关心把啤酒和尿不湿放在一起,会帮助提高销售额,而不用关心其中的奥秘。如果说原因,可能很多都是人们的习惯、方便,甚至是人性,例如奶爸们习惯买尿不湿的时候给自己捎上几罐啤酒。
在此,也有一些自己的思考:如果说搜索引擎所解决的问题表面上是帮助用户找到需要的信息,而实质是帮助企业找到拥有某项需求的客户,深层次讲是解决了《第三次浪潮》中提出的消费者和生产者分离的根本矛盾,如果再加上3D打印技术,就可以完成由消费者主导的个性化生产过程;而大数据所解决的是,通过对所有用户的数据进行分析,可以预测用户群整体的需求变化趋势,从而完成批量产品生产、销售的调整问题,其奇妙之处就在于无需用户开口说出她想要什么?一个解决的个体需求,一个解决的是群体需求。
本书除了提出上述三项基本观点,其它的内容大多是举例说明,多少有些空泛。但是,其实大数据时代才刚刚开始,对大数据的应用也只是停留在比较浅的层面上,作者能提出这三项基本观点已属难能可贵!
《大数据时代》读后感
《大数据时代》这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。
引言提出了大数据将给生活、工作于思维带来重大的变革。一个例子是2009年H1N1流行病毒背景下谷歌通过检测检索词条,处理了4.5亿个不同的数据模型,通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后,确定了45条检索词条组合,并将其用于一个特定的数学模型后,预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程,通告新流感病毒病例将有一到两周的延迟。
对于飞速传播的疾病,信息滞后两周是致命的。而谷歌运用大数据技术,以前所未有的方式,通过海量数据分析得出流感所传播的范围,为世界预测流感提供了一种更快捷的预测工具。此外,我联想到原淘宝董事长马云通过大量数据分析得出2008年经济疲弱,为其商家提前做好迎接经济危机提供了时间缓冲。
关于大数据在商业领域的应用, Farecast公司是一个成功的典型范例。该公司由奥伦埃齐奥尼创办,利用机票的销售数据来预测未来的机票价格,旨在帮助用户在购买机票方面做出预测,并对机票价格走势预测的可信度标示出来供消费者查考。Farecast系统利用近十万亿条价格记录预测的准确度达75%,使得使用Farecast票价预测工具购买机票的旅客,平均每张机票节约50美元。而处理如此多的数据离开了大数据技术将无法进行。
也正是由于我们进入了一个前所未有的信息化时代,人们拥有了如此多的数据,才提供给我们利用大数据的分析处理手段,创造新的价值。也许有人以为我们大数据时代的还未来临。其实大数据技术早已渗透到我们中间,它被应用在垃圾邮件的过滤,新浪微博技术平台,谷歌翻译以及输入文字的自动纠错等。
文中提出的一个观点是,预测是大数据的核心。其实从过去的时代人们就利用掌握的数据进行各种分析,从而对经济等各方面进行预测、矫正。只是进入了大数据时代人们掌握的数据爆炸性的速度在增长,从而数据的存储和分析数据分方法成了释放大数据能量的关键。
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的国际竞争中摆脱受制于人的弱势境地,才能把握发展的方向,冲破与西方国家的差距。
《大数据时代》读后感1000字
知道"是什么"就够了,没必要知道"为什么"。在大数据时代,我们不必非得知道现象背后的原因,而是让数据自己"发声"。这个命题是我读这本书最大的感触。
对于大多数人来说,这的确是一场思维变革。对于理科学生来说,会认为这是一个错误的观点,因为这无异于否定了他们对世界客观物理化学规律探索的重要性;对于一名工科学生,其实这并不是一个多么新颖的观点,因为工科是讲求时用性的,如何能更好地利用基本自然科学规律创造社会财富比探索自然科学知识显得更重要。
这些天来,在读大数据这本书的同时,也稍微重温了一下自动控制原理,认识到控制系统中存在明显的大数据时代思维方式,借读书交流会之际,与大家分享。
对系统的有效控制需要对系统理解与建模。以一个日常生活中的例子说明。开车的时候一脚油门下去车就飞出去了,但并不知道这一脚油门下去能给多大车速,这就需要驾驶人员的熟练的驾驶技能了,不然超速被开罚单是很正常的。那么,问题就来了:如何能实现速度的自动控制而不用驾驶人员踩油门?这就是控制系统最关键的环节——建立系统数学模型。大白话就是知道车速与燃油量的数学关系式。若是以探索为什么的思维模式,不可避免的要列一大堆能量方程、动量方程等物理化学式子,经过繁杂的计算,还是能得到车速和燃油量的数学关系式的。
《大数据时代》读后感1000字
知道"是什么"就够了,没必要知道"为什么"。在大数据时代,我们不必非得知道现象背后的原因,而是让数据自己"发声"。这个命题是我读这本书最大的感触。
对于大多数人来说,这的确是一场思维变革。对于理科学生来说,会认为这是一个错误的观点,因为这无异于否定了他们对世界客观物理化学规律探索的重要性;对于一名工科学生,其实这并不是一个多么新颖的观点,因为工科是讲求时用性的,如何能更好地利用基本自然科学规律创造社会财富比探索自然科学知识显得更重要。
这些天来,在读大数据这本书的同时,也稍微重温了一下自动控制原理,认识到控制系统中存在明显的大数据时代思维方式,借读书交流会之际,与大家分享。
对系统的有效控制需要对系统理解与建模。以一个日常生活中的例子说明。开车的时候一脚油门下去车就飞出去了,但并不知道这一脚油门下去能给多大车速,这就需要驾驶人员的熟练的驾驶技能了,不然超速被开罚单是很正常的。那么,问题就来了:如何能实现速度的自动控制而不用驾驶人员踩油门?这就是控制系统最关键的环节——建立系统数学模型。大白话就是知道车速与燃油量的数学关系式。若是以探索为什么的思维模式,不可避免的要列一大堆能量方程、动量方程等物理化学式子,经过繁杂的计算,还是能得到车速和燃油量的数学关系式的。
展开全文