深入集群：大型数据中心资源调度与管理

√ 面向更好地上云：利用好大型数据中心资源，构建企业数字化竞争力

√ 面向更好地理解云操作系统：管理好大型数据中心资源，节约企业IT成本

√ 面向更好地演进和运用云技术：掌握资源调度和管理技能，提升个人职业竞争力

本书内容聚焦于资源侧：集群调度和管理，非一般性的应用集群调度和管理。本书按集群调度和集群管理两大部分来组织内容，从不同的侧重点出发，集群调度部分侧重调度，集群管理部分侧重管理，但实质上这两部分是相辅相成的。集群管理是为了保障集群系统被更好地调度，集群调度是集群管理的重要内容和抓手。本书内容主要包括：集群任务与集群资源调度、资源调度领域的本质问题和衡量指标、调度算法的基本原理、调度架构设计和实践、集群管理的问题抽象、管理问题的衡量、管理策略等。

本书内容源于作者在阿里巴巴集团内部的资源调度和管理的实践经验，同时作者也广泛阅读了网络上的相关技术文档、开源代码。

李雨前，最近从事阿里云ECS弹性计算产品售卖、产品运营推荐、库存供应等工作，有4年的大规模（阿里巴巴百万级容器）集群资源管理调度实践经验：包括经历和推动多个调度核心系统和模块，针对long-time service及 co-location 调度具有全面、深入的一线实践和解决问题经验，提交10+项相关发明专利；擅长稳定性优先的集群调度策略和稳定性架构设计、全局稳定性数据分析实践，以及Java和Go编程语言。

随着企业数字化和全面上云的推进，更多的企业将在云上生、云上长，集群管理调度正在成为所有核心业务应用的支撑技术，工程师应该像过去了解操作系统一样了解今天的集群管理调度。李雨前在这一领域深耕多年，是行业中难得的技术专家，从阿里巴巴集团统一调度到阿里云弹性计算的工作经历，使他积累了大量的实战经验和丰富的创新成果。很高兴看到本书的出版，期待本书可以帮助云时代的工程师进一步了解这一领域，从而更好地理解云、利用云，发挥云的优势，赢在云计算时代。

——丁宇（花名：叔同） 阿里巴巴研究员，阿里云云原生平台总经理

云计算通过调度系统把超大规模计算集群管理起来，动态在线满足各种计算任务的资源需求，同时解决弹性、资源争抢和资源利用率的多重业务问题。本书作者历经多个大规模调度系统的研发工作，如果你想深入理解调度系统的工作原理，本书值得拥有。

——蒋林泉（花名：雁杨）阿里巴巴研究员，阿里云神龙计算平台总经理

在云计算高速发展的今天，集群管理和资源调度是避不开的一个话题，从Google发表的Borg和 Omega相关论文，到开源的OpenStack中的Nova组件，再到如今的Kubernetes中的Scheduler Framework，许许多多的项目和论文都在用自己的方式来诠释对其的理解。本书是一本系统化阐述集群管理和调度的书，从指标、算法、架构等多个维度来一步步揭开资源调度的本质，其中的很多观点和方案都是基于实战经验的抽象和总结，相信本书能帮助那些即将参与或者已经参与到资源调度领域的朋友，非常值得阅读 。

——徐海弘（花名：海弘）

阿里巴巴资深技术专家，阿里云弹性计算平台下库存调度团队技术总监

第1部分　集群调度

第1章　集群任务与集群资源调度 2

1.1　集群调度概述 2

1.1.1　层次关系 2

1.1.2　术语解释 3

1.2　集群任务调度 5

1.2.1　问题背景 6

1.2.2　解决什么问题 6

1.2.3　一般解法 6

1.2.4　实践案例 7

1.3　集群资源调度 8

1.3.1　资源调度解决什么问题 8

1.3.2　资源描述 9

1.3.3　如何调度资源 13

第2章　资源调度核心指标 14

2.1　业务背景 14

2.1.1　缩容 15

2.1.2　扩容 16

2.1.3　故障处理 18

2.1.4　负载均衡 20

2.1.5　宏观评价 20

2.1.6　具体指标 21

2.2　资源调度性能 23

2.3　资源调度成功率 25

2.4　资源分配率 26

2.5　资源实际利用率 29

2.5.1　资源宏观利用率分布 30

2.5.2　分配不充分 31

2.5.3　负载不均衡 32

2.5.4　编排动态调整 33

2.6　资源利用率最优剖析 33

2.6.1　解决什么问题 34

2.6.2　如何解决问题 35

2.6.3　案例分享 42

第3章　基本调度算法 51

3.1　装箱算法 52

3.2　操作系统CFS调度 55

3.3　操作系统PV操作 62

3.4　Golang GMP模型 64

3.5　Kubernetes调度算法 93

3.5.1　资源数据定义 94

3.5.2　资源数据获取 98

3.5.3　资源数据计算 102

3.5.4　资源扣减和一致性更新 106

3.5.5　资源分配常见算法 107

3.6　Hadoop调度算法 110

3.6.1　资源数据定义 111

3.6.2　资源数据获取 111

3.6.3　资源数据计算 112

3.6.4　资源扣减和一致性更新 114

3.6.5　资源分配常见算法 116

3.7　“双11”调度算法 118

3.7.1　问题和解决思路 118

3.7.2　架构和关键实现抽象 124

3.8　云端资源调度算法 126

3.8.1　云服务提供商资源调度 126

3.8.2　混合云资源生产调度 127

3.9　单机资源调度 131

3.10　调度评测 134

3.10.1　设计和实施 135

3.10.2　开源模拟器 139

第4章　资源调度架构设计和实践 141

4.1　资源视图下的架构划分 144

4.2　集群调度基本构件 147

4.3　集群资源管理角度 150

4.3.1　面向过程的调度架构设计和实践 151

4.3.2　面向终态的调度架构设计和实践 151

4.3.3　面向服务的调度架构设计和实践 152

4.4　分层与垂直化分工协同 152

4.5　中心调度与单机调度定位 155

4.6　规模化、平台化与个性化、场景化 156

4.7　解决问题优先与架构设计改进 157

第2部分　集群管理

第5章　集群资源管理含义 159

5.1　集群资源管理解决什么问题 159

5.2　集群资源管理和资源调度的关系 160

5.3　集群资源管理一般怎么做 163

第6章　集群资源管理核心指标 166

6.1　集群资源管理效能指标 166

6.2　集群资源软硬件故障率 167

6.3　集群资源可用率 168

6.4　集群资源分配率 169

6.5　集群资源利用率 170

第7章　集群资源管理常用策略 172

7.1　基础设施镜像化 172

7.2　统一资源池 173

7.3　标签化管理 174

7.3.1　标签设计原则 176

7.3.2　标签运用 178

7.3.3　案例：Kubernetes的Label设计与使用管理 179

7.4　面向终态巡检和一致性修复 180

7.4.1　面向终态巡检 180

7.4.2　一致性修复 182

7.4.3　案例：Kubernetes的一致性修复 183

7.5　数据驱动 184

7.5.1　调度体系数据脉络 185

7.5.2　数据体系构建 185

7.5.3　案例：Kubernetes Insight 193

7.6　集群资源计收费 194

7.6.1　计收费流程 196

7.6.2　计费模式 196

附录A 199

背景概述

从DataCenter as One Computer开始，大规模集群调度和管理就拉开了序幕，曾经一度类似于Borg这样的系统，被誉为互联网公司的“核武器”，不轻易对外分享。随着技术的演进与发展，特别是近十年来云计算的蓬勃发展，集群调度和管理技术再一次走进大众的视野，典型的代表就是Google开源、CNCF孵化的开源集群调度和管理系统Kubernetes。Kubernetes被称为分布式操作系统，对标Linux单机操作系统，相关描述如：“Kubernetes is the new Linux”“Kubelet is the new Kernel”“Kubectl is the new GNU base system”“Helm is the new Yum”“Operators are the new Config Management tools” 。从商业化角度来看，Kubernetes只提供了分布式操作系统的“内核态”，商业化所需要的“用户态”的内容，正依托社区吸纳全世界程序员来共建共享。从技术和商业两个角度来看，作为操作系统级别的系统程序，毫无疑问，业务抽象、架构设计、接口定义会奠定这个系统的基础，提高其生命力，特别是生态发展的生命力，以及商业化盈利的概率。今天，以Kubernetes为代表的集群调度和管理系统不再神秘，就像搜索引擎技术不再神秘一样。集群调度和管理是企业内部的“节流”，那么搜索引擎广告技术就是企业的“开源”。企业要生存，开源、节流必须是并存的，特别是大规模的集群调度和管理，在未来很长一段时间内会是大型数字化企业的必备基建能力，这个领域的发展仍然值得我们继续探索。

本书适合的读者

本书作为集群调度和管理实践的入门书籍，旨在帮助系统开发和运维工程师快速了解偏IaaS、PaaS这层“资源”的调度和管理的基础性、实践性的内容，尤其适合从事开发、运维、管理大规模集群的读者阅读。对于从事集群调度和管理的专业人员，会区分两个业务重点：一是不再有机会从0到1经历架构设计和实现，但是需要全面了解既有集群调度和管理系统的特征、接口服务能力，以进行贴合业务的二次应用开发；二是正在经历集群规模扩大的过程，处理各种意想不到的在线问题时，需要深入理解既有集群调度和管理的设计与实现细节。本书的内容融合了这两者的实践经验，立足根本问题，探讨多种架构实现背后的Why，帮助大家更透彻地理解集群调度和管理的IaaS或分布式操作系统的业务，更好地根据实际需求进行架构取舍和平衡，从而以最合适的架构、最低的投入，获取最好的实践落地结果。