数据分析即未来：企业全生命周期数据分析应用之道

数据已经成为一种新的“货币资产”。很多组织都沉浸在其中，但很少有组织能从中获取真正的价值。本书将整个分析生命周期转化为可操作、可执行的洞察力，为构建有效的分析能力和将数据转化为行动的实操流程提供了一个框架。本书第壹部分描述了现代企业开展数据分析的“参与者”(who)、“如何做”(how)和“为什么这样做”(why)，让领导者能够清楚地了解组织在战略层面具备协调一致的能力的价值；第二部分详细介绍了分析生命周期*佳实践，包括问题理解、数据探查、模型开发、变革管理、数据管理、产品管理等；第三部分讨论了如何保持分析能力长期卓越，以及如何将分析嵌入业务发展的新阶段，以此进一步充实本书的研究结论。
对于那些看到了分析的价值，但缺乏构建恰当解决方案的知识的组织来说，本书打破了窘境，为其提供了一个将正确的人员管理、流程框架和所需技术落实到位的路线图。对于那些已经布局了分析团队的组织来说，本书可以作为领导层的参考和进修课程，以帮助其团队拥有*新的实践和流程框架。本书并非单纯地讲分析模型，而是更注重讨论关键流程，帮助组织机构建立针对其特定需求的分析能力，从而使它们能够获取有价值的信息，更好地指导战略决策。
为帮助读者依据本书的重点内容加以实践，配套网站提供了可下载的资源、工具和视频等内容。本书为没有分析经验的读者澄清了复杂的概念和术语，使用真实的例子来说明实际有效的实践是什么样子的。凭借清晰的指导、专家的洞察和丰富的实用工具，本书对于任何寻求优化分析计划和程序的组织都是必不可少的资源。

本书旨在为数据分析生命周期提供一个全面和实用的指南，并着重于为组织打造行之有效的数据分析能力。全书分为三部分，第壹部分分析基础篇，讨论了如何通过整合组织的人员、流程、技术和数据等资源来实现这样的分析能力；第二部分分析生命周期*佳实践篇，介绍了不同种类的分析产品和服务，以及如何支持分析产品或服务的设计、开发和交付；第三部分分析能力卓越常青之道，围绕如何让分析产品对组织的完善和持续改进产生*大作用展开讨论，内容包括如何衡量分析项目的效率和效果两个方面，以及如何应用行为经济学、社会心理学和变革管理等其他学科的经验和知识改进和完善分析过程。

作者简介

格雷戈里·S. 纳尔逊（Gregory S. Nelson）　是ThotWave的创始人和CEO，是国际分析研究所（International Institute for Analytics）的专家，也是杜克大学福卡商学院（Fuqua School of Business）的特约教授。他发表了200多篇论文，并经常在技术领域以及私营公司的国内外活动中担任演讲嘉宾和主旨发言人。

译者简介

陈道斌　管理学博士，博士后，先后任中国工商银行总行管理信息部副总经理、总行电子银行部副总经理兼融e联中心总经理、总行资深信息管理专家等职务，工商银行博士后流动站指导专家，中央财经大学客座教授。陈道斌博士长期从事工商银行管理信息理论研究和实践探索，在大型商业银行数据管理、数据分析领域有精深造诣，多次获得人民银行金融科技进步一、二、三等奖。

万芊　北京大学光华管理学院经济学博士，中国工商银行博士后，先后就职于工商银行总行管理信息部、网络金融部，长期从事工商银行数据仓库建设与应用、数据分析师队伍建设以及大数据分析挖掘工作，对商业银行数据管理与分析应用有深入的研究和理解。

“这本书充满了关于分析的智慧和经验，其优势在于它的生命周期管理方法。从提出问题到获得结果，你将了解分析如何真正对组织产生影响。”

　—— Thomas H. Davenport博士，Competing on Analytics和Only Humans Need Apply的作者

“这本书浓缩了很多关于分析战略领域的深入思考。分析并非易事——这个世界并不存在速成的人工智能（AI）、商业智能（BI）和机器学习（ML）捷径，可以帮你快速理解数据、业务或者流程。你必须建立一支多元化的人才队伍。你必须考虑那些可能需要调整伪发现率（False Discovery Rate, FDR）的试验性探索的危害。你应该考虑为了解某个流程的真实行为而设计一系列试验，观测数据集可能会暗示某种现象，但不能为你提供完整的全貌和理解。数据处理、特征工程、数据探查等都存在不同的角度，需要对应不同的技能。但是，随着在分析领域投资的深入，对流程的更深层次的洞察和巨大的改进机会也随之而来。这本书将分析置于一个战略业务系统的大背景下，涵盖了所有的维度。”

—— John Sall博士，SAS联合创始人兼JMP首席架构师

“这本书为需要开发高性能和可扩展分析能力的组织提供了明确的指引。作者以不同寻常、非常清晰的方式对分析价值链非技术方面的关键点进行了整理和拓展，并将它们作为一个完整实践中的组成部分，与技术联系起来。认真研究这本如何应对分析的效率和有效性挑战的参考指南，可以为组织在精通分析的道路上节省数月，甚至数年痛苦的试错成本。”

　—— Scott Radcliffe，Cox Communications数据分析执行董事

“目前许多市面上的书都回答了一个问题：‘什么是解决问题的正确工具？’而本书是我读过的为数不多的几本书之一，它回答了一个更为棘手的问题：‘我们如何使分析在整个组织中变得具有变革性？’本书融合了数据科学、设计思维和组织理论的元素，对于那些希望将分析构建到组织DNA中的高管和希望扩大组织覆盖范围的数据科学家，以及那些不仅教会学生如何做数据科学学问，更要教会他们如何利用数据科学来影响切实的变革的分析项目来说，都是一个有价值的资源。”

—— Jeremy Petranka博士，杜克大学富卡商学院定量管理副院长

“这本书是‘思维人士的分析指南’。作者深入研究了一些主题，并为整个分析生命周期提供了大量参考。我认为本书是我读过的关于分析的佳作！”

—— JBob Gladden, Highmark Health, 企业分析副总裁

推荐序一
推荐序二
译者序
前言
致谢
作者简介
译者简介
第一部分　分析基础
第1章　分析概览 2
1.1　基本概念 2
1.1.1　数据 3
1.1.2　分析 4
1.1.3　什么是分析 5
1.1.4　分析与其他概念的区别 7
1.2　分析概念 9
1.2.1　商业智能和报表 9
1.2.2　大数据 12
1.2.3　数据科学 13
1.2.4　边缘（和环境）分析 14
1.2.5　信息学 16
1.2.6　人工智能与认知计算 16
1.3　分析方法论 18
1.3.1　应用统计与数学 19
1.3.2　预测和时间序列 22
1.3.3　自然语言处理 22
1.3.4　文本挖掘与文本分析 26
1.3.5　机器学习 27
1.3.6　数据挖掘 30
1.4　分析的目的 31
1.4.1　分析是关于改善结果的活动 32
1.4.2　分析是关于创造价值的活动 33
1.4.3　分析是关于发现的活动 34
1.4.4　分析是关于促成变革的活动 35
1.5　本章小结 36
1.6　参考文献 38
第2章　分析人才 41
2.1　谁来做分析工作 41
2.2　分析师的职责 44
2.3　分析工作的岗位序列 46
2.3.1　业务分析 47
2.3.2　统计分析 48
2.3.3　技术分析 49
2.3.4　领导力分析 50
2.3.5　产品分析管理 51
2.4　分析的关键能力 52
2.5　分析思维 56
2.5.1　问题求解 58
2.5.2　分解方法 61
2.5.3　综合方法 62
2.6　批判性思维方法 63
2.7　分析中应用批判性思维的例子 65
2.8　如何提高批判性思维能力 66
2.9　系统性思维 68
2.10　本章小结 71
2.11　参考文献 72
第3章　分析的组织背景 74
3.1　组织的战略与分析活动的协同 74
3.1.1　目标 76
3.1.2　战略 76
3.1.3　组织的能力 78
3.1.4　资源 80
3.1.5　评估和管理系统 80
3.2　组织的文化 83
3.3　分析团队的组织架构设计 87
3.4　什么样的分析团队组织架构设计最好 90
3.4.1　集中式架构 91
3.4.2　分散式架构 94
3.4.3　卓越中心式架构 97
3.4.4　分析的组织方式 100
3.5　本章小结 102
3.6　参考文献 103
第4章　数据战略、平台与架构 105
4.1　数据战略 106
4.1.1　数据战略声明 107
4.1.2　战略与实施 109
4.2　战略规划流程 109
4.3　规划一个数据战略路线图 113
4.3.1　范围和目的 114
4.3.2　数据收集、标准化和清洗 115
4.3.3　数据架构、虚拟化和整合 116
4.3.4　数据洞察和分析 117
4.3.5　数据治理和数据质量 118
4.3.6　元数据管理 120
4.3.7　数据访问、发布、隐私和安全 121
4.3.8　数据保存 122
4.3.9　性能与服务水平协议 123
4.4　制定数据战略的敏捷方法 124
4.5　数据战略小结 125
4.6　平台和架构分析 126
4.7　分析架构 127
4.7.1　范围：业务规模和生命周期支持 130
4.7.2　决策的复杂度 130
4.7.3　理解复杂度 132
4.7.4　紧迫性和影响 132
4.8　特定目的数据或潜在价值数据 134
4.9　本章小结 136
4.10　参考文献 137
第二部分　分析生命周期最佳实践
第5章　分析生命周期工具包 140
5.1　分析生命周期最佳实践领域 140
5.2　数据分析是数据科学的产物 143
5.3　数据分析的目标 143
5.4　分析产品的规模和范围 144
5.5　分析生命周期工具包的组织方式 146
5.5.1　关于分析流程 147
5.5.2　分析生命周期最佳实践领域、流程和工具 148
5.6　分析的设计思维 154
5.6.1　什么是设计思维 154
5.6.2　设计思维应考虑用户旅程 155
5.6.3　设计思维的五个步骤 156
5.7　本章小结 159
5.8　参考文献 159
第6章　问题理解 160
6.1　流程概述 160
6.2　为什么要理解问题 161
6.3　流程领域 161
6.3.1　问题定义 163
6.3.2　根本原因调查 167
6.3.3　提出假设 175
6.3.4　问题设计 182
6.3.5　业务方案优先级设置 190
6.4　本章小结 195
6.5　工具包总结 197
6.6　参考文献 198
第7章　数据探查 200
7.1　流程概述 200
7.1.1　数据探索 200
7.1.2　为什么要做数据探查 203
7.2　数据探查过程 203
7.2.1　数据识别和优先级排序 204
7.2.2　数据收集和准备 209
7.2.3　数据剖析和特征描述 213
7.2.4　可视化探索 227
7.3　记录分析日志 228
7.4　本章小结 230
7.5　工具包总结 231
7.6　参考文献 232
第8章　分析模型开发 234
8.1　流程概述 234
8.1.1　分析模型定义 239
8.1.2　模型开发 240
8.1.3　利用多种方法进行检验 245
8.1.4　为什么要这样做 248
8.2　建模过程 249
8.3　进行比较 250
8.4　度量关联 260
8.4.1　相关性统计检验 264
8.4.2　其他相关性检验 266
8.5　进行预测 267
8.5.1　检测模式 270
8.5.2　模式检测过程 275
8.6　本章小结 277
8.7　问题总结和练习 278
8.8　工具包总结 280
8.9　参考文献 281
第9章　成果应用 285
9.1　流程概述 285
9.1.1　为什么要研究成果应用环节 286
9.1.2　成果应用过程涉及的领域 288
9.2　解决方案评估 289
9.2.1　步骤1：模型回顾和验证 290
9.2.2　步骤2：对结果的评价 291
9.2.3　步骤3：影响评估 292
9.3　分析成果应用的实施 293
9.3.1　步骤1：制定部署计划 294
9.3.2　步骤2：关键指标的定义 296
9.3.3　步骤3：项目评估 297
9.4　演示和讲故事 298
9.4.1　通过数据讲故事的资源 299
9.4.2　用数据讲故事的最佳实践 303
9.5　本章小结 316
9.6　练习 318
9.7　工具箱总结 320
9.8　参考文献 321
第10章　分析产品管理 326
10.1　流程概述 326
10.2　分析产品管理过程涉及的领域 329
10.2.1　分析产品经理 330
10.2.2　价值管理 334
10.2.3　分析生命周期的执行 348
10.2.4　质量流程 362
10.2.5　利益相关方的参与和反馈 368
10.2.6　能力和人才发展 371
10.3　本章小结 373
10.4　工具包总结 374
10.5　参考文献 375
第三部分　分析能力卓越常青之道
第11章　把分析付诸行动 380
11.1　分析的力量 380
11.2　高效和有效的分析计划 384
11.2.1　了解分析生命周期 387
11.2.2　关于有效分析的一些观点 390
11.2.3　对分析效果和效率的挑战 391
11.3　为什么分析的上线运营会失败 392
11.4　变革管理 396
11.4.1　选择正确的变革方法 398
11.4.2　为什么要开展变革管理 400
11.4.3　对变革的情感反应 401
11.4.4　分析变革管理的例子 404
11.5　引领变革的最佳实践 405
11.5.1　创建共同的变革目标 406
11.5.2　建立可见的、参与型的领导联盟 407
11.5.3　赋能参与和沟通 409
11.5.4　支持强化个人绩效 413
11.6　变革中的问题处理 414
11.7　本章小结 416
11.8　参考文献 417
第12章　分析团队的核心胜任力 418
12.1　核心胜任力概述 418
12.1.1　分析胜任力定义 418
12.1.2　培养分析胜任力 420
12.1.3　过去和未来所需要的职场胜任力 421
12.1.4　分析职业框架 422
12.2　核心胜任力详述 422
12.2.1　胜任力领域：业务知识 424
12.2.2　胜任力领域：分析思维 427
12.2.3　胜任力领域：数据管理 430
12.2.4　胜任力领域：数据探索 432
12.2.5　胜任力领域：数据可视化 433
12.2.6　胜任力领域：技术素养 435
12.2.7　胜任力领域：战略思维 438
12.2.8　胜任力领域：领导力 440
12.2.9　胜任力领域：分析产品管理 443
12.3　基于知识领域的分析工作岗位序列的理想胜任力 446
12.3.1　胜任力领域：业务知识 446
12.3.2　胜任力领域：分析思维 448
12.3.3　胜任力领域：数据管理 448
12.3.4　胜任力领域：数据探索 448
12.3.5　胜任力领域：数据可视化 452
12.3.6　胜任力领域：技术素养 452
12.3.7　胜任力领域：战略思维 452
12.3.8　胜任力领域：领导力 456
12.3.9　胜任力领域：分析产品管理 456
12.4　本章小结 459
12.5　参考文献 459
第13章　数据分析未来趋势 460
13.1　数据分析的生命周期框架 460
13.2　分析在未来世界的作用 462
13.3　未来主义者的视角 463
13.3.1　普适计算和分析 464
13.3.2　大数据将驱动创新 465
13.3.3　分隔的行业与视角将消失 466
13.3.4　目标造就差异化 466
13.3.5　胜任力胜过特定技能 467
13.4　最后的一点思考 468
13.5　参考文献 469
译后记 470

现代企业往往被描述为“数据丰富，但信息贫乏”。由于在交互点（如客户、病人、供货商）产生的数据的规模很大且种类繁多，这一挑战呈现出加剧且进一步失衡的现象。不管你是进行数据准备，还是分析、呈现或者使用数据，建立一套坚实的数据管理和分析方法论的基础，对于有效地通过数据表达观点都至关重要。
在本书中，我把大数据、数据科学和数据分析相关知识有机地结合起来，形成一个全面的实用指南，为你提供经过实践验证的管理分析团队和分析过程的方法论框架，作为支持本书读者探索数据分析最佳实践艺术和科学的工具箱。
本书的重点是，讨论如何建立富有成效且高效的分析组织架构和分析流程，从而加强数据与分析在组织成功中的作用。
当我开始考虑写这个特定的主题时，主要是针对当时市面上有关数据分析的论述缺少“人与流程”方面的内容。也就是说，十多年来，人们一直在撰写关于数据分析的概念、数据分析在业务中的重要性以及Python、R或SAS等技术的具体实现方面的论述。然而，这些论述一般都不涉及分析模型开发或业务案例开发的策略，也不涉及分析对操作流程的影响。
自从Tom Davenport和Jeanne Harris发表其重要著作Competing on Analytics （Davenport和Harris，2007）的十多年来，各类组织一直在努力设法解决的问题，已经从“我们可以用数据分析解决哪些问题”转变为“如何发现、培养、留住数据分析专业人才”。这种从“什么”到“如何”的转变促成了我编写这本书的初衷。我自己也认为这本书正合时宜，因为各个行业都在通过对数据和分析的接纳与使用来改变自己。虽然不少企业已经克服了在日常业务处理以及战略决策中如何有效使用数据分析的障碍，但还有很多企业刚刚认识到数据分析的价值，他们看到了数据分析的光明前景，却没有明确的路线图来实现这一目标。对前者来说，挑战是有效性或者进一步提高效率。对于后者来说，真正的挑战往往是为数据分析创造一种企业文化或者思维模式，为发展企业的数据分析能力找到合理依据，并为成功开展数据分析而规划和调整组织架构。
本书的灵感来自Ralph Kimball的作品，我记得当我读第1版的Data Warehouse Toolkit（Kimball，1996）时，我在心里对自己说“这本书讲得有道理。”与一般商业和技术书籍中经常出现的大谈概念的处理方法非常不同，Kimball在这本书中为我们提供了真正进行数据仓库建设所需要的实用方法、工具和流程。不管是针对已经熟悉数据仓库的专业人士，还是刚开始接触这一解决方案的初学者，Kimball在书中都给他们提供了数据仓库相关领域的准确概述，以及数据仓库全生命周期和关键流程的完整框架。我希望你会发现，本书能够不负这一灵感，它为数据分析生命周期提供了一个全面和实用的指南，并着重于为你的组织打造行之有效的数据分析能力。
这本书不同于其他讲“如何做”的工具书，因为它不是指导你如何构造分析模型的“食谱”，而是重点讨论数据分析中用到的最佳实践和各种流程。本书的适用人群包括：
组织的领导者和分析决策者。指那些需要理解建立和保持企业分析能力与文化的重要意义的组织领导者和分析决策者，包括那些近年才有的首席分析官或首席数据官。
分析团队。指那些以设计、开发和提供分析服务或分析产品为主要任务的分析师团队。该团队包括分析产品经理、团队负责人、分析人员、项目经理、统计学家、科学家、工程师、数据科学家，以及构建分析模型的量化专家。
有抱负的数据倡导者。指那些通过数据或分析产品基于事实依据来解决业务问题的人。所谓数据倡导者，也就是那些希望通过数据来提高业务绩效、支持决策或改变某些业务流程的人。
这本书分为三个部分：
1. 分析基础。首先概述分析是什么，以及如何把分析应用于解决组织中的一些实际问题。重点转移到把分析作为一种组织的内在能力，并从不同的角度来阐述如何让分析为组织的整体目标服务，分析（和数据）策略如何指导我们的行动，如何实现这些能力。然后讨论如何通过整合组织的人员、流程、技术和数据等资源来实现这样的分析能力。
2. 分析生命周期最佳实践。介绍不同种类的分析产品和服务，以及如何支持分析产品或服务的设计、开发和交付。整个分析生命周期可分解为五个最佳实践领域，以及相对应的支持分析产品开发的特定流程。
3. 分析能力卓越常青之道。围绕如何让分析产品对组织的完善和持续改进产生最大作用展开讨论，内容包括如何衡量分析项目的效果和效率两个方面，以及如何应用行为经济学、社会心理学和变革管理等其他学科的经验与知识改进并完善分析过程。
在第1章中，你可能会觉得分析学的语言或术语令人困惑甚至望而生畏。在对分析学进行概念讨论或者描述时，通常会用到像科学、学科和最佳实践这样的术语。
然而，像方法（method）、方法论（methodology）或方式（approach）这样的术语则一般用来指分析流程。
编写本书时，我的做法是不做主观假设，尽可能把整个分析过程中的方法论都描述清楚。为此，我尽自己最大的努力，通过简明的例子和尽可能准确的描述，使数据分析变得容易理解。
读到这里，如果读者认同数据分析是个有趣的主题，值得深入学习和探讨的话，你会认同我的做法。但如果还需要列出进一步阅读本书的10个其他理由，这些理由大致如下：
1. 为那些想理解分析工作的完整生命周期并由此构建组织架构和有效分析流程的人士提供了一个实用指南。
2. 为组织提供建立分析师团队的方法论框架，包括团队职能定位和团队设计方法。
3. 围绕如何高效发挥分析团队的作用以及关于创建分析产品的设计思维两个方面，探索分析工作中所涉及的人才管理和流程设计两个主要问题。
4. 讨论分析工作岗位序列以及分析团队成员需要如何进行分工和承担哪些角色。
5. 来自现实世界的一些分析案例研究。
6. 把与分析文化相适应的概念（例如“数据中心主义”和计算能力）与数据和技术策略联系起来。
7. 为分析工作的领导者提供理解分析的方法和知识，为分析工作的实践者提供开展工作的工具箱。
8. 提供对一个工具和模板库的访问权限，包括支持领导力、流程改进和团队赋能的最佳实践方法。
9. 从分析生命周期的基本内容开始，讨论相关的知识领域和最佳实践案例，然后详细介绍分析团队的各项流程。
10. 本书作者是一位长期从事数据分析的专业人士，他参与并见证了横跨多个行业的数百个各具特色的数据分析场景和应用。
希望本书可以为刚开始从事分析工作的人士提供有用的指导，也可以为那些有丰富分析工作经验的人士提供参考意见。分析旅途愉快！
关于配套的网站
在本书的配套网站（http://www.analyticslifecycletoolkit.com/）上可以找到各种资源，包括本书中提到的工具和模板。除了那些可以用来加深理解本书所阐述概念的检查清单（checklist）、模板与各种材料外，该网站还包含各种与分析相关的资源、引用及其他信息的链接。此外，你可以在网站上注册并通过电子邮件随时获得内容的更新，你还将找到一个博客，我在这个博客里会讨论整个数据分析生命周期的实际含义与影响。