深入浅出图神经网络：GNN原理解析

　　（1）极验AI ; 图项目团队倾力之作（2）资深图神经网络专家多年研究和实践总结-白翔、俞栋等学术界和企业界领军人物强烈推荐（3）从原理、算法、实现、应用4个维度详细讲解图神经网络-理论与实践相结合

　　这是一本从原理、算法、实现、应用4个维度详细讲解图神经网络的著作，在图神经网络领域具有重大的意义。本书作者是图神经网络领域的资深技术专家，作者所在的公司极验也是该领域的领先者。本书是作者和极验多年研究和实践经验的总结，内容系统、扎实、深入浅出，得到了白翔、俞栋等几位来自学术界和企业界的领军人物的高度评价和强烈推荐。全书共10章：第1～4章全面介绍了图、图数据、卷积神经网络以及表示学习等基础知识，是阅读本书的预备知识；第5～6章从理论的角度出发，讲解了图信号处理和图卷积神经网络，深入剖析了图卷积神经网络的性质，并提供了GCN实现节点分类的实例。第7～9章全面的讲解了图神经网络的各种变体及范式、图分类机制及其实践，以及基于GNN的图表示学习；第10章介绍了图神经网络的最新研究和应用。

前言
第1章 图的概述
1.1 图的基本定义
1.1.1 图的基本类型
1.1.2 邻居和度
1.1.3 子图与路径
1.2 图的存储与遍历
1.2.1 邻接矩阵与关联矩阵
1.2.2 图的遍历
1.3 图数据的应用场景
1.4 图数据深度学习
1.5 参考文献
第2章 神经网络基础
2.1 机器学习基本概念
2.1.1 机器学习分类
2.1.2 机器学习流程概述
2.1.3 常见的损失函数
2.1.4 梯度下降算法
2.2 神经网络
2.2.1 神经元
2.2.2 多层感知器
2.3 激活函数
2.3.1 S型激活函数
2.3.2 ReLU及其变种
2.4 训练神经网络
2.4.1 神经网络的运行过程
2.4.2 反向传播
2.4.3 优化困境
2.5 参考文献
第3章 卷积神经网络
3.1 卷积与池化
3.1.1 信号处理中的卷积
3.1.2 深度学习中的卷积操作
3.1.3 池化
3.2 卷积神经网络
3.2.1 卷积神经网络的结构
3.2.2 卷积神经网络的特点
3.3 特殊的卷积形式
3.1.1 1×1卷积
3.3.2 转置卷积
3.3.3 空洞卷积
3.3.4 分组卷积
3.3.5 深度可分离卷积
3.4 卷积网络在图像分类中的应用
3.4.1 VGG
3.4.2 Inception系列
3.4.3 ResNet
3.5 参考文献
第4章 表示学习
4.1 表示学习
4.1.1 表示学习的意义
4.1.2 离散表示与分布式表示
4.1.3 端到端学习是一种强大的表示学习方法
4.2 基于重构损失的方法—自编码器
4.2.1 自编码器
4.2.2 正则自编码器
4.2.3 变分自编码器
4.3 基于对比损失的方法—Word2vec
4.4 参考文献
第5章 图信号处理与图卷积神经网络
5.1 矩阵乘法的三种方式
5.2 图信号与图的拉普拉斯矩阵
5.3 图傅里叶变换
5.4 图滤波器
5.4.1 空域角度
5.4.2 频域角度
5.5 图卷积神经网络
5.6 GCN实战
5.7 参考文献
第6章 GCN的性质
6.1 GCN与CNN的联系
6.2 GCN能够对图数据进行端对端学习
6.3 GCN是一个低通滤波器
6.4 GCN的问题—过平滑
6.5 参考文献
第7章 GNN的变体与框架
7.1 GraphSAGE
7.1.1 采样邻居
7.1.2 聚合邻居
7.1.3 GraphSAGE算法过程
7.2 GAT
7.2.1 注意力机制
7.2.2 图注意力层
7.2.3 多头图注意力层
7.3 R-GCN
7.3.1 知识图谱
7.3.2 R-GCN
7.4 GNN的通用框架
7.4.1 MPNN
7.4.2 NLNN
7.4.3 GN
7.5 GraphSAGE实战
7.6 参考文献
第8章 图分类
8.1 基于全局池化的图分类
8.2 基于层次化池化的图分类
8.2.1 基于图坍缩的池化机制
8.2.2 基于TopK的池化机制
8.2.3 基于边收缩的池化机制
8.3 图分类实战
8.4 参考文献
第9章 基于GNN的图表示学习
9.1 图表示学习
9.2 基于GNN的图表示学习
9.2.1 基于重构损失的GNN
9.2.2 基于对比损失的GNN
9.3 基于图自编码器的推荐系统
9.4 参考文献
第10章 GNN的应用简介
10.1 GNN的应用简述
10.2 GNN的应用案例
10.2.1 3D视觉
10.2.2 基于社交网络的推荐系统
10.2.3 视觉推理
10.3 GNN的未来展望
10.4 参考文献

　　图神经网络能对图数据进行端对端学习，在推理学习、半监督学习以及模型的可解释性等方面有着独特的优势，在图数据分析领域备受瞩目。本书扎实的理论知识将帮助读者打下坚实的基础，有针对性的实战应用能指导读者进行实操。仔细研读本书，一定会使GNN的学习事半功倍。
　　——白翔 华中科技大学电信学院教授
　　虽然图神经网络的蓬勃发展还是最近几年的事，但它已经成功应用在适合用图表示的诸多领域，比如社交网络、知识系统、物联网等。本书作者结合自己在图神经网络领域多年的研发经历，系统地介绍了图表示、卷积网络和图神经网络（尤其是图卷积模型）的基本知识，并在此基础上阐述了图卷积模型的各种框架、变体、性质和应用。对于有兴趣了解图神经网络技术及其应用的读者，本书将会是一本有益的参考书。
　　——俞栋（博士）IEEE Fellow，腾讯公司杰出科学家、腾讯AI LAB副主任
　　深度学习时代，图计算与神经网络天然地结合到了一起，为人工智能的发展注入了新的动力，在学术界和企业界都有着极其广阔的发展前景。本书从理论与实践的双重维度对GNN进行了全面讲解，深入浅出。同时，书中还提供了实践案例和关键部分的PyTorch源码，方便读者动手实战，全方位地帮助读者掌握图神经网络的知识和技能。
　　——王彦博 龙盈智达首席数据科学家/剑桥大学计算机系访问学者
　　图神经网络将端到端的训练推理模式应用到了图数据上，突破了传统图像、语音等领域深度学习的知识边界。本书从图神经网络的基础出发，内容涵盖图神经网络的各种框架、变体以及实战案例和应用场景，是作者在图神经网络领域的耕耘成果和经验积累，也是读者全面而系统地学习GNN技术的一本好书。
　　—— 王健宗（博士）中国人工智能开源软件发展联盟副理事长/
　　深圳市金融智能机器人研究中心常务副主任/《深入理解AutoML和AutoDL》作者"

　　前言
　　为何写作本书
　　近年来，作为一项新兴的图数据学习技术，图神经网络（GNN）受到了非常广泛的关注。2018年年末，发生了一件十分有趣的事情，该领域同时发表了三篇综述类型论文，这种“不约而同”体现了学术界对该项技术的认可。事实上，在2019年的各大顶级学术会议上，与图神经网络有关的论文也占据了相当可观的份额。相信在未来几年，这种流行的趋势会只增不减。
　　图神经网络技术的出现有其必然性和重要性。在深度神经网络技术兴起的前几年，图像、语音、文本等形式的数据都能都能在深度学习中被很好地应用，并获得了十分好的效果。这促使大量的相关应用进入了实用阶段，如人脸识别、语音助手、机器翻译等。尽管如此，深度学习一直无法很好地对另一类形式的数据—图数据（或称网络数据）进行有效地适配。作为一类主要用来描述关系的通用数据表示方法，图数据在产业界有着更加广阔的应用场景，在诸如社交网络、电子购物、物联网、生物制药等场景中，都可以找到图数据的影子。将深度学习技术的成功经验迁移到图数据的学习中来，是一种十分自然且必要的需求。
　　在这样的背景下，图神经网络的出现很好的填补了上述技术空白，实现了图数据与深度学习技术的有效结合，使得深度学习能够在图数据的相关应用场景中继续攻城略地。事实上，纵观这三年，图神经网络技术的相关应用和研究已经拓展到了极其广泛的领域，从视觉推理到开放的阅读理解问题，从药物分子的研发到5G芯片的设计，从交通流量预测到3D点云数据的学习，该项技术都展示出了极其重要且极具渗透性的应用能力，这种能力必将给产业界带来极高的应用价值。
　　笔者所在公司极验在业务风控的应用场景中，长期奋战在网络攻防对抗的前线，在这样的背景下，不管是主动还是被动，都促使我们不断努力提升数据分析与数据建模的能力，一直以来，我们都期望有一套端对端的模型来高效学习数据中的关系或结构化信息。极验在2017年年中与图神经网络技术结缘，正好提供了这样的契机，在对该项技术进行多番论证并上线到极验的实际业务中后，取得了超出预期的效果，这极大提升了我们对该项技术的热情。同时，为了更好地对这项新技术进行讨论和学习，我们组织了相应的学习社群，大家都表现出了高昂的热情，这份热情激励笔者将更多精力投入到该项技术上，也正因如此，写一本关于图神经网络的书籍的想法应运而生。期望通过本书，让读者朋友对该项技术的来龙去脉有更清晰、全面的认识。如果能产生更大的知识分享成果，那么本书的价值就更高了，这将是对我们的最好回报。
　　本书读者对象
　　·想学习并初步实践图神经网络技术的读者
　　·想较系统且深入理解图神经网络技术的读者
　　本书主要内容
　　本书分为三大部分：
　　第一部分为基础篇，包括第1～4章，其中第1章中笔者撰写，第2～4章由李彦霖撰写。主要介绍学习图神经网络所需的基础知识，包括图的基本概念、卷积神经网络以及表示学习，帮助初学者更加清晰地认识到图神经网络技术与深度学习技术是一脉相承的。
　　第二部分为高级篇，包括第5～9章。这部分是本书的重点，主要讲解图卷积神经网络的理论基础和性质、图神经网络的各种变体和框架范式、图分类以及基于GNN的图表示学习。该部分的各章节都有相关的实践案例，为读者规划了完整的从理论到实践的学习路线，帮助读者系统全面地学习图神经网络。这部分有两位作者，理论部分由笔者撰写，实践案例的代码由李彦霖提供。
　　第三部分为应用篇，即第10章，主要介绍了图神经网络目前的一些应用。图神经网络的应用非常广泛，现实应用场景非常多，但鉴于本书的规划，这里只是略着笔墨，旨在抛砖引玉，让读者对应用场景有一定的认知。这部分由周洋撰写。
　　最后，每个章节都附有相关的参考文献。
　　本书特色
　　本书有如下特色：
　　（1）详细阐述了图卷积模型的由来，以及什么是频域图卷积和空域图卷积，这是很多初学者学习该技术的第一只“拦路虎”；
　　（2）集中阐述了图卷积模型的性质，这些性质的解读对读者深入地理解图神经网络技术有着重要的作用；
　　（3）给出了关键部分的代码，希望能辅助读者清晰理解书中的一些公式里的变量的具体含义。
　　（4）本书为了帮助读者理解图神经网络的相关概念和技术，提供了很多示意图。
　　勘误和支持
　　由于作者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你遇到任何问题，可以访问我们专门为本书创建的技术主页https://github.com/FighterLYL/GraphNeuralNetwork，我们将尽量为读者提供满意的解答。如果你有更多宝贵的意见，也欢迎发送邮件至邮箱yfc@hzbook.com，期待能够得到你们的真挚反馈。
　　致谢
　　首先要感谢这个开放的时代，深度学习技术的爆发离不开产、学、研的紧密结合，在信息开放、知识分享的大背景下，我们每一个人都是其中的受益者。
　　感谢笔者所在公司极验科技，对本书的写作提供了大力支持，特别是同事谢永芬，完成了书稿所有章节的初排工作，为其中大量的公式和插图付出了许多精力。
　　感谢机械工业出版社华章公司的编辑杨福川和张锡鹏，在这段时间始终支持我们的写作，他们的耐心和专业引导我们顺利完成了撰写工作。
　　最后，感谢我的妻子，她理解并支持我这段时间的挑灯写作，家人的关怀是我前进的动力！
　　刘忠雨

　　图的遍历是指从图中的某一顶点出发，按照某种搜索算法沿着图中的边对图中的所有顶点访问一次且仅访问一次。图的遍历主要有两种算法：深度优先搜索（DFS，Depth-First-Search）和广度优先搜索（BFS，Breadth-First-Search）。图的遍历是一种重要的图检索手段，深度优先搜索与广度优先搜索给出了相应的算法基础。
　　深度优先搜索是一个递归算法，有回退过程。其算法思想是：从图中某一顶点vi开始，由vi出发，访问它的任意一个邻居w1；再从w1出发，访问w1的所有邻居中未被访问过的顶点w2；然后再从w2出发，依次访问，直到出现某顶点不再有邻居未被访问过。接着，回退一步，回退到前一次刚访问过的顶点，看是否还有其他未被访问过的邻居，如果有，则访问该邻居，之后再从该邻居出发，进行与前面类似的访问；如果没有，就再回退一步进行类似访问。重复上述过程，直到该图中所有顶点都被访问过为止。以图1-7为例，我们可以得到如下深度优先搜索序列：v1→v2→v4→v5→v3。
　　广度优先搜索是一个分层的搜索过程，没有回退过程，其算法思想是：从图中某一顶点vi开始，由vi出发，依次访问vi的所有未被访问过的邻居w1，w2，…，wn；然后再顺序访问w1，w2，…，wn的所有还未被访问过的邻居，如此一层层执行下去，直到图中所有顶点都被访问到为止。以图1-7为例，我们可以得到如下广度优先搜索序列：v1→v2→v3→v4→v5。