InfoBox：

中文名：图神经网络

外文名：Graph Neural Networks

简写：GNN

学科：机器学习、图数据库

实质：综合了卷积网络、循环网络和深度自动编码器的思想，有效处理图结构数据的神经网络。

背景：

20世纪末，基于传统人工神经网络的深度学习迅猛发展，促使基于数据驱动的第二代人工智能快速崛起[1]。尽管深度学习在处理大数据上表现出许多优势，但其应用范围仅限于欧氏空间数据（如图像）和时序结构数据（如文本），因此需要进一步探索非结构化数据，例如图的表示形式[2]。图（Graph）也是一种数据结构，它包含节点和边两个部分。图神经网络（GNN）是近年来在传统深层神经网络基础上发展起来的一个新领域，也可以称之为图上的深度学习。图神经网络的概念由Gori等人[3]首次提出，并由Scarselli等人[4]进一步阐明，将神经网络方法拓展到了图数据计算领域。受到卷积神经网络（CNN）提取多尺度局部空间特征以构建更高级表示的启发，GNN基于其局部连接[5]、权重共享[6]和多层叠加[7]的核心特点对非欧几里得数据进行嵌入，从而学习图的节点、边或子图以得到低维向量表示。Wang等人[8]提出了一种基于层次注意力的新型异构图神经网络，通过节点级和语义级注意力充分考虑了节点和元路径的重要性，以分层方式聚合基于元路径邻域节点集的特征来生成节点嵌入。Chen等人[9]提出了迭代学习图结构和图嵌入的学习框架，基于巧妙的节点嵌入来学习更好的图结构。相比基于传统特征工程构建特征的方法，图嵌入具有共享权重的特点和良好的泛化能力。由于图的表达能力较强，Battaglia等人[10]将图用于自然科学领域，提出首个通用的可学习物理引擎，实现了各种复杂领域中以对象和关系为中心的推理；Matsumoto等人[11]把图用于188体育app官网：补全，提出了Graph-NNs模型以计算知识库外实体嵌入，解决了不重新训练场景下的知识库外实体问题；Lian等人[12]将图用于社会网络建模，提出了一种基于图卷积神经网络（GCN）的新型社交垃圾邮件发送者检测模型。

技术应用领域：

GNN适用于多领域的应用，包括计算机视觉、自然语言处理、智能交通和推荐系统等。

1、计算机视觉。GNN在计算机视觉中的应用包括场景图生成、点云分类和动作识别。

（1）场景图生成

一方面，GNN可以用于将图像解析为语义化的图结构，Zhang等人[13]提出了一个高效学习主语和宾语嵌入表示的模型，该模型通过保持图像和语义的相关性来实现语义图的构建。另一方面，GNN同样可以用于将自然语言解析为语义图，反过来根据场景图生成图像，Johnson等人[14]提出了一个图像生成网络，该网络基于结构化场景图明确地描述对象和关系，以此高效地生成复杂图像。

（2）点云分类

点云是激光雷达扫描记录的一组三维点，图卷积神经网络可以用于生成点云的拓扑结构。Wang等人[15]提出一个兼顾点之间局部几何特征的方法，更好地实现点云分类任务。Wang等人[16]将图注意力机制引入点云分类，通过计算中心点与每一个邻接点的边缘权重，从而使得网络能在分割的边缘部分取得更好的效果。

（3）视频动作识别

为了更好的理解视频内容，可以将视频中人类的关节建模为图结构。在实际应用中，可以把人类关节位置的时间序列数据作为输入，使用时空图神经网络（STGNNs）来学习人类动作模式。Lin等人[17]提出了一种称为时空图卷积网络 (ST-GCN) 的新型动态骨架模型，该模型能够从数据中自动学习空间和时间模式，具有更强的表达及泛化能力。Lu等人[18]提出了一种用于骨架行为视频中动作识别的深度渐进强化学习（DPRL）方法，并采用图卷积神经网络来捕获关节之间的依赖关系以进行动作识别。

2、自然语言处理。GNN可以用于文本分类以及构建语法依赖树等。Marcheggiani等人[19]提出了基于CNN/RNN句子编码器的Syntactic GCN，该模型通过生成句法依赖树学习潜在的词表示。为编码图形级语义信息，Song等人[20]提出了Graph-LSTM，弥补了序列LSTM在图结构提取方面的缺陷，实现更有效的建模。在图序列学习和神经机器翻译方面，Beck等人[21]提出了GGNN，该模型可以更完整的捕获图信息，解决了线性化和参数爆炸导致的数据丢失问题。

3、智能交通。GNN可用于特定时期出租车需求的预测，结合过往的出租车需求、天气数据等特征，Yao等人[22]将LSTM、CNN和LINE[23]训练的网络嵌入结合在一起，形成对每个位置的联合表示，从而实现预测。

4、推荐系统。在推荐系统中，GNN将项目和用户均视作节点，基于各节点相互之间的关系进行缺失连接的预测，从而实现对用户的推荐。Van等人[24]和Ying等人[25]提出了一种使用ConvGNNs作为编码器的GAE。为学习底层的评级过程，Monti等人[26]将RNNs与图形卷积相结合。

未来发展：

GNN未来在以下三个方面可开展研究：

（1）GNN的优化问题。将神经元的感受野引入GNN可能会获得更快的学习速度和更好的预测效果，如何实现两者的结合是需要继续探索的领域之一。另外，GNN还可以进行节点结构的进一步改造和网络结构深度的探索，从而实现对高维特征信息的提取，提高网络性能。