大数据时代：生活、工作与思维的大变革

大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。作者认为，大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变：第1个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。第2个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。第3个转变因前两个转变而促成，即我们不再热衷于寻找因果关系；
　　

　

《大数据时代》作者维克托迈尔舍恩伯格，大数据时代的预言家，《科学》《自然》等著名学术期刊推崇的互联网研究者之一，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历；

　

《大数据时代》的译者系我国年轻有为的大数据专家，电子科技大学互联网科学中心主任、教授、博士生导师周涛教授。这位27岁的天才型教授，数年来一直带领我国学术界在大数据研究上向国际一流看齐；

　

湛庐文化出品。

　　维克托·迈尔-舍恩伯格（Viktor Mayer-Sch·nberger），“大数据时代的预言家”，他是十余年潜心研究数据科学的技术权威，他是早洞见大数据时代发展趋势的数据科学家之一，也是受人尊敬的权威发言人之一。他曾先后任教于世界著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授，曾任哈佛大学肯尼迪学院信息监管科研项目负责人，哈佛国家电子商务研究中网络监管项目负责人；曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。 　　他的学术成果斐然，有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 　　他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利畅销的软件产品。1991年跻身奥地利软件企业家前5名之列，2000年 被评为奥地利萨尔斯堡州的年度人物。 　　他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问，同时他以大数据的全球视野，熟悉亚洲信息产业的发展与战略布局，先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。 　　所著《大数据》一书是开国外大数据系统研究的先河之作，而在这之前，他已经在《经济学人》上和数据编辑肯尼斯.尼尔-库克耶一起，发表了长达14页的大数据专题文章，成为早洞见大数据时代趋势的数据科学家之一。而他的《删除》一书，同样被认为是关于数据的开创性作品，并且创造了“被遗忘的权利”的概念而在媒体圈和法律圈得到广泛运用。该书获得美国政治科学协会颁发的唐·K·普赖斯奖，以及媒介环境学会颁发的马歇尔·麦克卢汉奖。同时受到《连线》、《自然》《华尔街日报》《纽约时报》等各大权威媒体广泛好评。 　　肯尼斯·库克耶（Kenneth Cukier），《经济学人》数据编辑，曾任职于《华尔街日报》（亚洲版）和《国际先驱论坛报》。他是美国外交关系协会成员，CNN、BBC和NPR的定期商业和技术评论员之一。

书名页
推荐序一　拥抱“大数据时代”
推荐序二　实实在在大数据
译者序　在路上·晃晃悠悠
引言　一场生活、工作与思维的大变革
第一部分　大数据时代的思维变革
01 更多　不是随机样本，而是全体数据
让数据“发声”
小数据时代的随机采样，最少的数据获得最多的信息
全数据模式，样本=总体
02 更杂　不是精确性，而是混杂性
允许不精确
大数据的简单算法比小数据的复杂算法更有效
纷繁的数据越多越好
混杂性，不是竭力避免，而是标准途径
新的数据库设计的诞生
03 更好　不是因果关系，而是相关关系
林登与亚马逊推荐系统
关联物，预测的关键
“是什么”，而不是“为什么”
改变，从操作方式开始
大数据，改变人类探索世界的方法
第二部分　大数据时代的商业变革
04 数据化　一切皆可“量化”
莫里的导航图，大数据的最早实践之一
数据，从最不可能的地方提取出来
数据化，不是数字化
量化一切，数据化的核心
当文字变成数据
当方位变成数据
当沟通变成数据
世间万物的数据化
05 价值　“取之不尽，用之不竭”的数据创新
ReCaptcha与数据再利用
数据的“潜在价值”
数据创新1：数据的再利用
数据创新2：重组数据
数据创新3：可扩展数据
数据创新4：数据的折旧值
数据创新5：数据废气
数据创新6：开放数据
给数据估值
06 角色定位　数据、技术与思维的三足鼎立
Decide.com与商品价格预测
大数据价值链的3大构成
全新的数据中间商
专家的消亡与数据科学家的崛起
大数据，决定企业竞争力
第三部分　大数据时代的管理变革
07 风险　让数据主宰一切的隐忧
无处不在的“第三只眼”
我们的隐私被二次利用了
预测与惩罚，不是因为“所做”，而是因为“将做”
数据独裁
挣脱大数据的困境
08 掌控　责任与自由并举的信息管理
一场管理规范的变革
管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任
管理变革2：个人动因VS预测分析
管理变革3：击碎黑盒子，大数据算法师的崛起
管理变革4：反数据垄断大亨
结语　正在发生的未来
参考文献

　　维克托·迈尔-舍恩伯格教授这本《大数据时代》，是我看到的好的大数据著作，不仅对于产业实践者，还是对于政府和公众机构，都是非常具有价值的。只要我们以开放的心态、创新的勇气拥抱“大数据时代”，就一定会抓住历史赋予中国创新的机会。
　　——田溯宁 宽带资本董事长

　　正如迈尔-舍恩伯格教授认为的，大数据要求人们改变对精确性的苛求，转而追求混杂性；要求人们改变对因果关系的追问，转而追求相关关系。这种思维的转变将是革命性的，如果企业不能认识到这一思维方式转变的重要性和迫切性，将会面临 “数据鸿沟”的挑战。
　　——张亚勤·微软全球资深副总裁，微软亚太研发集团主席

　　过去几年，在大数据方面我读过十几本书、上百篇论文和文章。相对而言，维克托的《大数据时代》是迄今为止我读过的好的一本专著，中英文都算上。
　　——谢文 中国互联网发展的重要参与者，知名IT评论人

　　大数据正把我们变成新的物种。首先，大数据改变了我们的思维方式，让我们从因果关系的串联思维变成了相关关系的并联思维。第二，大数据改变了我们的生产方式，物质产品的生产退居次位，信息产品的加工将成为主要的生产活动。第三，大数据改变了我们的生活方式，我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术，更是一种全新的商业模式，它与云计算共同构成了下一代经济的生态系统。一切皆信息。
　　——郭昕　 北京云基地顾问，云华时代智能科技有限公司董事长

　　随着大数据热潮的不断升温，相信今后几年会有更多以大数据为主题的著作问世。这本先河之作用各种案例生动阐述了大数据所带来的变革。你可以不同意书中的某些观点，但是大数据所带来的变革已经开始发生并将继续深入。我们需要共同面临的挑战是：越来越大的数据如何才能让世界变得越来越美丽？
　　——汪小帆 上海交通大学长江学者特聘教授，致远学院常务副院长

　　我们生活在社会中，就不得不同数据打交道。我们也是数据的一部分，不论我们想不想与大数据牵扯到一起，数据都会找到我们，覆盖我们。大数据时代已经来临，如何从海量数据中发现知识，寻找隐藏在大数据中的模式、趋势和相关性，揭示社会现象与社会发展规律，以及可能的商业应用前景，都需要我们拥有更好的数据洞察力。
　　——沈浩 中国传媒大学教授

　　大数据无疑是当前的热门话题，对产业界、学术界和教育界都正在产生巨大的影响。然而到底什么是大数据，大数据到底和过去的数据分析技术有何联系和不同？这又是一个各执一词的问题。本书的角度非常独特而深入，提出了“不是随机样本，而是所有数据”“不是精确性，而是混杂性”“不是因果关系，而是相关关系”这样三个关于大数据的鲜明观点，并引用很多例子加以说明，非常值得仔细研读和思考。
　　——陈文光　 清华大学计算机科学与技术系副主任、教授

　　维克托认为大数据将使人们从对因果关系的渴求转向关注相关关系，这是对人类关系结构变革的深刻洞察。因果关系通向金字塔的建立，相关关系通向扁平化的实现。大数据由此将带来对人的重新认识，不是在阿波罗神庙，而是在小世界网络中“认识你自己”。
　　——姜奇平 中国社科院信息化研究中心秘书长，《互联网周刊》主编

　　大数据时代已经来临，先知、先觉、先行和先试者既可能率先受益，也可能率先迷失，关键在于能否看清创新方向并找到应用模式。《大数据时代》这本书突出的价值，就在于其对商业实践的跟踪与建议。即使作者的一些预见在未来也许会落空，其大胆探索大数据商业应用的努力，仍然值得鼓励。
　　——何 刚 《财经》杂志执行主编，《哈佛商业评论》中文版主编

　　在人们还在沉浸于讨论多大规模的数据才是“大数据”的时候，《大数据时代》这本书就“大数据时代”将对人类社会带来的革命性影响进行了深刻的分析。正如书中所述，“大数据”的本质是思维、商业和管理领域前所未有的大变革。领衔翻译本书的周涛教授是国内大数据和网络科学领域的青年领军人物，相信对不同层次的读者都会裨益匪浅。
　　——谢幸　 微软亚洲研究院主管研究员

　　推荐序一 拥抱“大数据时代”
　　宽带资本董事长 田溯宁
　　从硅谷到北京，大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。以此为基础，“反馈经济”（feedback economy）等新经济、新商业模式也正在开始形成。维克托•迈尔–舍恩伯格教授这本《大数据时代》，是我看到的好的大数据著作，不管对于产业实践者，还是对于政府和公众机构，都是非常具有价值的。
　　如今，一个大规模生产、分享和应用数据的时代正在开启。正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”（1024TB）为单位的结构与非结构数据信息的新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。大数据与云计算是一个问题的两面：一个是问题，一个是解决问题的方法。通过云计算对大数据进行分析、预测，会使得决策更为精准，释放出更多数据的隐藏价值。数据，这个21世纪人类探索的新边疆，正在被云计算发现、征服。
　　《大数据时代》列举了众多在公共卫生、商业服务领域大数据变革的例子。一旦“不再追求精确度，不再追求因果关系，而是承认混杂性，探索相关关系”，“思维转变过来，数据就能被巧妙地用来激发新产品和新型服务”。数据正成为巨大的经济资产，成为新世纪的矿产与石油，将带来全新的创业方向、商业模式和投资机会。
　　庞大的人群和应用市场，复杂性高、充满变化，使得中国成为世界上复杂的大数据国家。解决这种由大规模数据引发的问题，探索以大数据为基础的解决方案，是中国产业升级、效率提高的重要手段。数据挖掘不仅能够成为公司竞争力的来源，也将成为国家竞争力的一部分。联系到我国现代化所面临的种种问题以及教育、交通、医疗保健等各方面挑战，通过大数据这种创新方式来解决问题，创建新的产业群，实现“中国制造到中国创造”的改变，意义就更大。
　　“大数据”发展的障碍，在于数据的“流动性”和“可获取性”。美国政府创建了Data.gov网站，为大数据敞开了大门；英国、印度也有“数据公开”运动。中国要赶上这样一场大数据变革，各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样，开放、流通的数据是时代趋势的要求。《大数据时代》一书也提到了数据拥有权、隐私性保护等问题，但相比较来看，新科技可能带来的改变要远远大于其存在的问题。
　　本书的译者周涛教授是我国年轻有为的大数据专家。这位27岁的天才型教授，数年来一直带领我国学术界在大数据研究上向国际一流看齐。更可贵的是，他不仅做研究，也关注着研究成果的商业化及传播。这部译著就是他这种努力的一个成果。
　　现代历史上的历次技术革命，中国均是学习者。而在这次云计算与大数据的新变革中，中国与世界的距离小，在很多领域甚至还有着创新与领先的可能。只要我们以开放的心态、创新的勇气拥抱“大数据时代”，就一定会抓住历史赋予中国创新的机会。

　　“大数据”全在于发现和理解信息内容及信息与信息之间的关系，然而直到近，我们对此似乎还是难以把握。IBM的资深“大数据”专家杰夫•乔纳斯（Jeff Jonas）提出要让数据“说话”。从某种层面上来说，这听起来很平常。人们使用数据已经有相当长一段时间了，无论是日常进行的大量非正式观察，还是过去几个世纪里在专业层面上用高级算法进行的量化研究，都与数据有关。
　　在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时，我们指的远远不止这些。
　　实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。
　　●首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。
　　●其次，我们乐于接受数据的纷繁复杂，而不再追求精确性。
　　●后，我们的思想发生了转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。
　　本章就将介绍第一个转变：利用所有的数据，而不再仅仅依靠一小部分数据。
　　很长一段时间以来，准确分析大量数据对我们而言都是一种挑战。过去，因为记录、储存和分析数据的工具不够好，我们只能收集少量数据进行分析，这让我们一度很苦恼。为了让分析变得简单，我们会把数据量缩减到少。这是一种无意识的自省：我们把与数据交流的困难看成是自然的，而没有意识到这只是当时技术条件下的一种人为的限制。如今，技术条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，也永远是有限的，但是我们可以处理的数据量已经大大地增加，而且未来会越来越多。
　　在某些方面，我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情，建立很多机构组织。我们假定自己只能收集到少量信息，结果就真的如此了。这是一个自我实现的过程。我们甚至发展了一些使用尽可能少的信息的技术。别忘了，统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上，我们形成了一种习惯，那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么，我们需要首先回顾一下过去。
　　直到近，私人企业和个人才拥有了大规模收集和分类数据的能力。在过去，这是只有教会或者政府才能做到的。当然，在很多国家，教会和政府是等同的。有记载的、早的计数发生在公元前8000年的，当时苏美尔的商人用黏土珠来记录出售的商品。大规模的计数则是政府的事情。数千年来，政府都试图通过收集信息来管理国民。
　　以人口普查为例。据说古代埃及曾进行过人口普查，《旧约》和《新约》中对此都有所提及。那次由奥古斯都恺撒主导实施的人口普查，提出了“每个人都必须纳税”，这使得约瑟夫和玛丽搬到了耶稣的出生地伯利恒。1086年的《末日审判书》（The Doomsday Book）对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个人的生活都被赤裸裸地记载下来的过程就像接受“后的审判”一样。
　　然而，人口普查是一项耗资且费时的事情。国王威廉一世（King William I）在他发起的《末日审判书》完成之前就去世了。但是，除非放弃收集信息，否则在当时没有其他办法。尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，意思就是推测、估算。