玩转3D视界――3D机器视觉及其应用

3D 机器视觉是计算机视觉的重要组成部分。本书对3D 机器视觉的基础知识、核心算法及应用进行了系统、全面的介绍，具体包括3D 传感器、3D 数据表示、3D 数据存储与压缩、3D 数据处理、3D 几何测量与建模、3D 物体识别和3D 动作识别等。本书力求理论结合实际，在原理与概念讲解的基础上，辅以简单的应用实例，便于读者深刻地理解各部分的知识点并学以致用。为满足读者自检与思考的需要，书中给出了一些思考题，并列出了主要文献供读者参考。

刘佩林，1965年9月生人，上海交通大学电子信息与电气工程学院教授，博士生导师。研究领域包括音视频、3D信号处理与智能分析；面向机器人的环境感知，人机交互，定位与导航；边缘计算等。自2017年起，任上海交通大学类脑智能应用技术研究中心主任。

应忍冬，1975年9月生人，上海交通大学电子信息与电气工程学院副教授，硕士生导师。研究领域包括嵌入式系统、数字信号处理及VLSI实现架构、人工智能领域的机器思维原理和实现。

◆人类的视觉系统是3D的，我们所感知的环境、物体、人物都是以3D的形式呈现的。机器视觉发展至今，一直都在努力模拟人类的视觉感知能力，而3D视觉技术作为机器视觉的里程碑技术，使机器视觉从“2D视界”跨越到“3D视界”，从而真正模拟了人类的视觉感知能力。从智能制造、物流、机器人、无人驾驶等行业，到手机人脸解锁等具体应用，3D机器视觉技术以其独特的优势使机器更加智慧。对所有从事机器视觉研究的读者来说，本书是一本非常全面的优秀书籍。

——加州大学•伯克利分校电子电机工程与计算机科学系讲座教授 美国工程院院士

常瑞华

◆随着iPhone手机引入3D摄像头，主动光源相机逐渐在手机终端中获得广泛应用，既有基于前置3D机构光相机的人脸解锁，也有基于后置ToF相机的3D建模、AR交互，3D视觉应用的大幕已逐渐拉开。未来，3D视觉将在安防监控、智能制造、自动驾驶、人脸支付等领域获得广泛应用，有效解决目前的痛点问题。本书系统讲解了双目视觉、3D结构光、ToF等三种主流3D视觉方案，并结合3D重建、物体分割、动作识别等实际场景讨论了具体实现，理论和实践相结合，大幅降低了学习门槛，是玩转3D视界的“入场券”。

——蚂蚁金服多媒体技术部总监

宋杨

◆人工智能技术发展迅猛，3D机器视觉作为人工智能的重要信息来源，发挥着非常重要的作用，二者的结合或将有效解决很多人工智能应用落地的难题，助力各行业基于机器视觉的智能解决方案的应用。本书的出版正当时，读者可从此书入手，以“深度视觉”实现“深度智能”。

——微软（中国）全渠道事业部高级战略拓展总监

王禾

◆随着传感与成像技术日新月异的发展，机器视觉正从2D走向3D，逐步打造像人类一样的视觉体验。与此同时，人工智能技术也从实验室走向普罗大众。3D机器视觉与人工智能的“美丽邂逅”，掀起了新一轮机器认知革命浪潮。作为以MEMS和传感器为主要研究方向的咨询公司创始人，我深刻地感受到了3D机器视觉给人们的生活和工作带来的巨大影响。本书通过理论与实践的结合，系统地介绍了3D机器视觉的基础知识，希望读者能通过本书有所收获，学有所成！

——麦姆斯咨询创始人兼CEO

王懿

【目录】
第1章 引言 1
1.1 何为“3D视界” 1
1.2 如何玩转3D视界 2
1.3 本书的主要内容 4
1.4 面向的读者 6
第2章 3D视界的硬实力与软实力——3D相机与开发平台 8
2.1 概述 8
2.2 双目相机 10
2.3 结构光3D相机 17
2.4 ToF相机 24
2.5 三种相机的对比及典型应用 35
2.6 DMAPP开发平台 42
2.7 总结与思考 49
参考文献 50
第3章 3D数据表示方法 51
3.1 概述 51
3.2 深度图 52
3.3 点云 55
3.4 体素 64
3.5 三角剖分 68
3.6 3D数据存储格式 76
3.7 总结与思考 86
参考文献 87
第4章 3D数据处理 88
4.1 概述 88
4.2 深度图滤波 96
4.3 点云滤波器与过滤器 107
4.4 3D数据压缩 113
4.5 总结与思考 131
参考文献 132
第5章 3D几何测量与重建 133
5.1 概述 133
5.2 3D测量 134
5.3 3D重建 147
5.4 总结与思考 163
参考文献 164
第6章 3D物体分割与识别 166
6.1 概述 166
6.2 目标分割 167
6.3 几何形状识别 177
6.4 语义识别 188
6.5 总结与思考 207
参考文献 208
第7章 3D活体检测与动作识别 210
7.1 概述 210
7.2 人脸识别 211
7.3 人体骨架识别 224
7.4 跌倒检测 242
7.5 手势识别 251
7.6 总结与思考 271
参考文献 271
附录 缩略语 277

【前 言】

这是一本介绍3D机器视觉及其应用的书。在写这本书时，我和我的团队刚刚研发了基于时间飞行（ToF）法的3D相机，并期待着我们的3D相机——SmartToF®有规模化的应用。而在推广3D ToF应用的过程中，我们意识到，系统、全面地介绍3D机器视觉技术对3D应用的推广至关重要，遂着手编写这本《玩转3D视界——3D机器视觉及其应用》，希望能和广大从事机器视觉技术的同仁在“3D视界”中一起“玩”起来。

我们希望通过本书让更多进行机器视觉研究的同仁了解3D机器视觉，方便他们构建3D机器视觉的知识体系，因而在书中我们介绍了3D传感器、3D数据处理、3D物体识别与建模等多个层面的基础知识和算法。本书涉及光学、电子技术、信号处理、模式识别等领域的知识，虽无法全面完整地介绍所有知识点，但我们努力对构建3D机器视觉的知识体系所需的基础知识进行了介绍，本书可作为一本入门书籍。

本书也可以作为3D机器视觉开发者的应用指南。当前，各大手机厂商先后在手机中植入3D相机，3D机器视觉应用的帷幕已经拉开，面向3D视觉的海量应用亟待开发。目前，2D机器视觉已在各行各业中得到了应用，相比之下，3D机器视觉领域还缺乏完善的软件开发环境和数据资源，需要从事机器视觉研究工作的同仁共建3D视觉的开发环境，面向应用实现各种3D 算法的软、硬件。在本书中，我们介绍了自己开发的SmartToF®的开发环境架构，一方面，使读者能在此基础上快速实现和验证自己开发的3D算法；另一方面，为构建特定领域3D机器视觉软件系统提供了架构参考。

我们力求通过本书让读者了解3D机器视觉的基本原理、方法，与此同时，我们也介绍了目前存在的问题，以期和相关同仁共同探讨3D机器视觉技术的未来。每个新技术的发展都遵循一定的规律，3D机器视觉技术也是如此。当前3D机器视觉正处在应用的起步阶段，还有各种问题需要解决，如3D传感器的电信号处理、光源控制及光照环境自适应等，要实现智能3D相机，为每台机器人装配“慧眼灵瞳”，还需要各位同仁共同努力。

王伟行、王俊、贾佳璐、潘光华、金成铭、陈琢、郭维谦等人参与了本书的初稿及后续修订工作，他们对本书的创作起到了非常大的作用，再次向他们表示衷心的感谢。在本书出版过程中，电子工业出版社的编辑王群也给予了很多帮助，在此也向她表示谢意。

由于作者水平有限，书中难免有错误和不当之处，欢迎业界专家、读者给予批评和指正。

刘佩林