原标题：表征图数据，绝不止图神经网络一种要领
比年来，图神经网络掀起了将深度学习要领应用于图数据分析的海潮。不外其作为一门陈腐的熟悉世界的要领论，人们对于图表征技能的研究从很早从前就开始了。
虽然现在深度神经网络在物体辨认、图像分类和自然语言处置惩罚领域都取得了巨大的乐成。然而，「设计出最优的神经网络，学习并输出任意的图」仍然是一个热门的研究课题。
本文是一篇出自伦敦大学学院的图表征学习综述，详细先容了图核、卷积、图神经网络、图嵌入、概率模子共五类图表征学习要领的起源与发展，并对图数据表征学习要领的最新进展和未来发展偏向举行总结和讨论。
一、弁言
将数据构造为图的情势可以帮助我们以一种体系化的方式研究如何掘客庞大的关系和模式。比方，互联网图展示出了给定网页间高频链接的庞大结构；在自然语言处置惩罚领域中，人们有时以树的情势表征文本，理解单词之间的接洽，从而推断出句子的意义。
然而，呆板学习领域的研究主要存眷于向量情势的表征，而真实世界中的数据并不能很轻易地被表征为向量。现实世界场景下庞大图结构的例子包括：生物学网络、计算机网络、传感器网络、社交网络、论文引用网络、电力网络和交通网络。通过使用基于图的表征，我们可以捕捉结构化数据的顺序、拓扑、集合和其它关系特性。
神经网络是通用的函数近似器。比年来的研究进展表明，深度学习模子已经在语音辨认、目标辨认与探测、自然语言处置惩罚等诸多领域中取得了巨大的乐成。别的，在大型数据集、先进的计算处置惩罚能力，以及呆板学习要领领域繁荣的新兴研究等因素的作用极大地促进了深度学习研究。
需要指出的是，对于呆板学习来说，神经网络要领和非神经网络要领的主要区别在于学习数据的表征。在呆板学习术语中，我们会使用「特性」一词，而在表征学习术语中，我们体贴的是学习数据的最优表征，它有助于下游的呆板学习使命。
学习「图表征」背后的思想是：学习一类映射，这类映射将极点、子图或整体的图嵌入到低维向量空间中的点上。然后，我们优化这些映射，使他们反应嵌入空间的几何结构，学习到的嵌入可以被用作呆板学习使命的向量化输入。
需要注意的是，本文讨论的是一些流行的使用基于图表征的数据域，包括生物学数据、化学数据、网页数据、文本数据、关系数据、社交媒体数据等。
二、图理论
2.1 相干观点
在这里，我们先容图理论术语，为接下来涉及图数据的讨论提供相干配景。图是一个有序对
(V,E)。极点集合 V 满足 n ≡ |V|，它代表图的阶。在相应的边集 E(G) 中，e_ij 代表极点 i 和 j 之间的边。 我们使用符号 V(G) 和 E(G) 图 G 的点集和边集。
图的类型：本文思量的主要是简朴图。「简朴图」的极点之间仅仅通过一条边相连。本文还将讨论「无向图、有向图、带权图」：在「无向图」中，每条边被表征为一个无需对{v,w}；在「有向图」中，边则被表征为有序对；在「带权图」中，权值函数 w:f→R 为每条边赋予权值。
如果全部极点对之间都存在路径，那么该图是「连通图」。如果图中的全部极点有相同的度，那么我们有一个「正则图」。如果每对极点之间都存在一条边，则该图为「完全图」。
度、游走、环、路径、间隔、高度、深度：
极点 u 的「度」被表示为 deg(u)，它代表与 u 相连的边数。
「游走」是一个由毗邻极点及其相应的边瓜代组成的序列，游走的长度由包罗的边数确定。我们有时将长度为 k 的游走中的极点表示为序列 v_0,v_1,...,v_k。
如果 v_0 = v_k（即出发点与终点相同），则该游走是一个「环」。
「路径」表示每个极点至多出现一次的游走。
两个极点时间的「间隔」记作「dist(u,v)」，它被界说为两点之间最短路径的长度。
极点的「高度」代表节点与各个叶子节点之间自顶向下的路径中最长的一条路径上的边数。
极点的「深度」是从该节点到树的根节点的路径上的边数。
子图：若 G_1 是图 G 的子图，则它的点集和边集都是 G 的点集和边集的子集。 「团」图的一个完全子图。「环」也是一种连通的子图，其中每个极点都恰好有两个邻点，不包罗环的图被称为「森林」。一个连通的森林被称为「树」。「子森林」是一个无环子图，「子树」是一个连通的子森林。对于给定的极点 v，它的邻人节点的集合被表示为 N_v。
图同构：令 G = (V, E) 和 G′ = (V′, E′) 为两个图。若存在一个双射函数 f : V → V′，使得对于任意的 u, v ∈ V，我们有 G 中的 f(u) 和 f(v) 是毗邻的当且仅当 u 和 v 在 G′ 中毗邻，则 G 和 G′ 同构。
解决图同构问题与呆板学习精密相干，它为掘客数据点之间的相似度提供了一种要领。然而，图同构是一个颇具挑战的问题，目前还没有多项式时间内的算法可以或许求解图同构问题。
求解图匹配问题的早期算法提出使用「图编辑间隔」以及「拓扑描述子」。使用图编辑间隔涉及到对将图 G1 转化为 G2 的要害操作举行计数，从而提供分配成本的机动性。然而，这种要领存在需为差别的操作以及子图同构的中心步骤选取最优的代价函数的问题。使用将每个图映射到一个特性向量上的拓扑描述子也存在在变换步骤中丧失拓扑信息的问题。一种现实可行的替换要领是使用由可以在多项式时间内计算出来的图形成的子结构，这通常被称为「结构袋」（bag-of-structures）要领。
2.2 图的矩阵表征
2.2.1 矩阵的类型
我们需要使用矩阵情势的输入表征来天生特性。这些矩阵包括：毗邻矩阵，度矩阵以及拉普拉斯矩阵。毗邻矩阵 A 将图的整个拓扑结构通过以下方式封装在 n*n 情势的矩阵中。
度矩阵 D_ii 是一个对角矩阵，其中 d_i 为极点 i 的度。
对于一个无权图来说，归一化后的拉普拉斯矩阵 L 形如：
归一化后的拉普拉斯矩阵 L 的谱剖析界说如下：L 是一个对称的半正定矩阵，可以写作 L = ΦΛΦ^T，其中对角矩阵 λ = diag(λ_1, λ_2, λ_3,...,λ_|V|)，其元素为排序后的 L 的特性值；而 Φ = (φ_1, φ_2,...,φ_|V|) 是由排序有的列特性向量组成的矩阵。图的「谱」研究的是毗邻矩阵的特性值。
2.2.2 矩阵之间的关系
毗邻矩阵的归一化情势为
三、图数据的用例
图数据的常见用例包括：图比力、图分类、图聚类、链接预测、图压缩、图可视化。
图比力：图比力使命旨在通过映射 s : G × G → ℜ 确定两图之间的相似度。传统的图比力算法分为基于集合的、基于子图的和基于核的算法。
图分类：图分类问题可以被分为两类：一种是极点分类问题，另一类是对于整个图的分类问题。在整个图的分类问题中，给定一个由图组成的数据集 D，其中每个图 G_i 可以被表征为 G_i = (V_i, E_i)，图分类的目标是学习模子 f : D → Y，并将图分类为一类或多类。通常，每个图都有一个相应的种别标签 Y = {1 . . . y}。
链接预测：以往，我们并不知道缺乏哪些链接或未来会形成哪些链接。从宏观上说，链接预测使命旨在预测网络结构如何随着现有的成员形成新的链接、断开毗连而演化。比方，在「卵白质-卵白质」交互网络中，链接预测可以确定卵白质之间新的交互。给定一个网络的图 G = (V, E)，链接预测使命可以界说如下：假设 U 是一个一般性的集合，它包罗 |V|(|V|-1)/2 个可能的链接，其中 |V| 表示集合中元素的个数。因此，链接预测使命的目的是在集合 U-E 中探求链接。数据集被随机划分为两个部门：E^T（训练集）和 E^P（测试集）。「网络增长预测」问题被认为是链接预测问题的延伸。在社交网络分析领域，链接预测被用于预测用户形成新的朋友关系的偏好，该历程导致了用户社交网络的增长。
图聚类：在图聚类问题中，边的结构起到了很紧张的作用。图的极点会被分组到差别的聚类簇中，分组的原则为：在形成的簇内部有许多边，而簇之间的边相对就少一些。主要有两类图聚类要领：图内聚类和图间聚类要领。顾名思义，图内聚类要领将一个图内部的极点划分到差别的簇中，而图间聚类方规则将一系列图划分到差别的聚类中。在生物学领域，图聚类技能被应用在基因调控网络、代谢网络、神经网络和血液网络中。在社交网络中，聚类算法被用于社区发明使命。
其它用例：诸如网页或社交网络图等典型的大范围图包罗凌驾十亿条边而且会迅速增长。从可计算性的角度来说，从大型图中学习知识是一项非常巨大的挑战。最近，图压缩和图可视化为解决这一问题提供了动力。图的压缩表征会对其拓扑结构举行编码。构建良好的图表征是一种节省存储空间的要领，人们研究出了多种压缩方案提供各种各样的图表征。图可视化显式地向我们展示了极点、社区或子图之间的接洽。图的可视化图形可以展示出一些有趣的特性，使阅读者可以从另一个角度研究网络。然而，定制化、结构，以及天生动态变化的可视化结果等问题仍然有待进一步探索。
四、核要领
核要领是一类被遍及使用的算法，它可以被应用于任意的数据结构。在一些表征学习要领中，核要领也被用作构建模块。核函数是两个向量在特性空间中的内积，它将学习算法与实例独立开来。这意味着学习算法仅仅依赖于实例之间的核值，而无需显式的使用原始的数据表证。
令 X 为一个非空集合，k : X × X → R，其中 × 代表集合乘积（笛卡尔积）。如果 k(x, y) = k(y, x) ，则核 k 是对称的；若 x_1,...,x_n∈X（n ≥ 1），且由 k_ij = k(x_i, x_j) 界说的矩阵 k 是正定的，则 k 是正定的，那么有：
核函数可以记作：
其中 φ(x) 为特性向量。
4.1 图的核要领
学习结构化数据的字典是一种兴起于上世纪 90 年代的要领。在「结构袋」（Bag-of-Structures
）要领中，每个数据点都被表征为一个给定图的子结构时衍生出的向量。使用结构袋要领，每类核的特性表征都是固定的，每个维度对应于一类子结构。这种要领会导致产生核空间有非常高的维度。令 G 为一个由图组成的非空集合，则 k : G × G → R 被成为一个图核，在这里 < φ(G), φ(G′) > 分别都是图的特性向量。
现有的图核要领是 R-卷积核的实例。R-卷积框架是对两个结构化对象举行剖析后，构建在图对上的。论文「Convolution kernels on discrete structures」提出了将一个对象剖析为原子化的子结构的思绪。每种新剖析出的关系 R 都会产生一种新的图核。
4.1.1界说在游走和路径上的核
随机游走核由 Gartner 提出，其基础是对基于由数据集 D 中的图之间的节点序列形成的游走的子结构举行计数。为了找到两图之间的大众游走，这里使用了一种由图 G_1 和 G_2 中标注相同的极点和边组成的积图。其中，(p1,p2) 为随机游走的起始概率，(q1, q2) 为停止概率。A_1, A_2 为 G_1 和 G_2 的毗邻矩阵。在直积图 G 上的长度为 l 的大众游走可计算如下，其中 ⊗为克罗内克积。
两图之间的随机游走核可以被情势化界说如下：
其中，λ 为应用于长程游走的折算因子，它对全部长度差别的大众游走举行加权求和。随机游走核可以被界说为一种更简洁的情势：
最短路径核是通过计算数据集 D 中全部长度为 n 的最短路径 p 的对计算出来的。给定图 G 和 G' 的最短路径 p 和 p′， 最短路径核是在边上合理地选择核，通过对 p 和 p′ 中的边 E_p 和 E_p′ 组成的对举行加权求和得到的。
环模式核是通过对在 D 中出现的每个图中出现的大众环举行计数得出的，其界说如下：
其中 φ(G) 为图的特性向量。
4.1.2 界说在子树上的核
由 Ramon 和 Gartner 提出的子树核，是通过探求数据集 D 中的每个图中的大众子树并对其举行比力而计算出来的。根据界说，图 G 的子树是由 G 中具有底层的树结构的不通极点组成的连通子集。探求数据集 D 中的图之间大众的树状邻人结构相当于对相同的高度为 h 的子树对举行计数。如许做的利益是，我们得到了将图的拓扑封装起来的图结构的富厚表征。图上的子树核是界说在极点上的子树核的加和：
Weisfelier-Lehman 核（WL）是一种快速计算的子树核。该核使用 WL 同构性检验，它由以下步骤迭代式地组成：（1）确定多重集标签（2）标签压缩（3）重新更新多重集标签。在这里，h 为深度，l 为重新更新标注的函数，WL 界说如下：
4.1.3 界说在子图上的核
子图核的计算思绪是：相似的图每每具有相似的子图，这些子图可以被用于图比力。连通的尺寸为 k 的非同构子图被称为图元核（graphlet）G_k = {g_1, g_2, g_3,...,g_(n_k)}，其中 n_k 是范围为 k 的图元核的个数。令 φ(G_f) 为长度为 n_k 的归一化向量，它的第 i 个元素是 G 中图元核 g_i 出现的频率，s_j 表示 G 中出现子图 g_k 的次数。
4.1.4 使用结构袋要领存在的挑战
对角上风：结构袋要领递归地将结构化目标剖析为子结构，但是这也带来了各种各样的挑战。比方，其中一个挑战就是「对角上风」问题，此时核矩阵靠近于单元矩阵。当差别的子结构被视为差别的特性时这一问题就会产生，而且随着子结构数目的增长，特性的集合也会变大。因此，给定的两个图包罗相似子结构的概率会减小。以是，某张图与其自身的相似度比它与训练集中其它图的相似度要高得多。
子结构稀疏&子结构依赖：子结构稀疏问题指的是，图与图之间只存在很少的配合子结构。子结构以来指的是，由于一个子图可以在另一个子图中找到，或者可以通过修改其他子图的极点和边来得到，以是子图不是独立的。因此，通过这些子图表征的特性自然而然地趋向于相似。末了，大多数图核将各个子结构视为独立的特性，这不仅会增大数据集，还回导致特性趋同。因此，因此，经常出现的子结构，和那些经常包罗较低阶子结构的子结构，每每对于出现指数孝敬更大。
五、学习图表征
下面将先容五类图表征要领：核要领、卷及要领、图神经网络要领、图嵌入要领，以及概率要领。「图表征」指的是通过神经网络计算要领学习到特性，每种学习到的表征都分别对图的拓扑信息举行编码。
5.1 核要领
近期的研究进展突出了神经网络和核要领之间的关系。比方，Cho 和 Saul 构建了模仿神经网络的核要领，而 Marial 等人说明了卷积神经网络和核之间的关系。这里的核要领的特点是，引入神经学习技能将核要领用于图数据。
深度图核（Deep graph kernels）：是将图核与深度学习技能相联合的紧张要领之一。他们试图解决获取子结构之间有意义的语义的问题。结构袋要领存在子结构依赖、子结构稀疏和对角上风的问题。作者通过引入维度为 |S| × |S| 的半正定的编码矩阵 M 对子结构之间的关系举行编码来缓解这些问题，其中 |S| 为从训练数据中提取出的子结构字典的尺寸。这项事情是通过设计 M 来实现的，它思量到了子结构空间的相似度。
计算 M 的方式为：起首计算子结构之间关系的「编辑间隔」，接着使用概率化的自然语言模子学习子结构的潜在表征。核的界说如下：
核神经网络：在「Deriving Neural Architectures from Sequence and Graph Kernels」论文中，作者使用核界说告终构化的数据（比方序列和图）从而得到神经化的操作。他们设计了一种使用核内积的新型架构，将它嵌入到了一个循环神经网络中。该例阐释了如何将图核嵌入到神经模块中。给定思量了特性向量 f_x 的随机游走核，可以通过以下方式将核与神经计算接洽起来：
其中，⊙ 是元素点积，N(v)代表图中围绕极点 v 的邻人，W 是权值矩，c_j[t] 和 h[t] 是激活前后的状态。
5.2 卷积要领
CNN 架构可以从具有底层的时空网格结构的数据中提取表征，使它们适用于图像、视频以及语音数据。CNN 被设计用来通过提取出输入数据的局部稳定性子在信号域上提取局部特性。
图卷积：由于底层不规则的空间几何信息（这种数据被称为非欧数据），许多数据在它们底层的图上都具有不规则的结构。通常，在时序和图像数据中我们找到的是点阵类型的底层结构，而在诸如文本数据、传感器数据、网格数据、社交网络数据以及基因数据等数据中，我们找到的却每每是不规则的底层结构。为了给图数据设计卷积网络，我们需要使用一种相似的在不规则的图数据域上有用的卷积运算符。
下面，我们先容用来情势化界说图卷积操作的相干观点。当我们思量无向图时，「图信号」是一种函数映射 x : V → ℜ，它界说在图的节点上，通过向量 x ∈ ℜ^N 来表征，其中向量 x 的第 n 个元素表示集合 V 中第 n 个极点处的信号值。我们可以认为数据与图的极点绑定在一起，比方一个极点可能代表「基因-基因」交互网络中的单个基因。
对于一个 函数 f、频率 w 来说，典型的傅里叶为 f 和特性函数 exp(2πiwt) 的内积。
函数 f : V → R 的图傅里叶变换是 f 在图拉普拉斯算子的特性函数上的扩展。对于半正定拉普拉斯矩阵 L ，其特性向量的尺度正交集合为
图上的卷积操作界说如下，其中 ⊙ 为元素内积
在 CNN 中经常被用于图像数据的离散卷积是界说在规则的 2D、3D 网格数据上的，因此不适用于图数据域。对于图如许的不规则网格来说，我们需要界说局部的卷积核「谱域图卷积」。谱域图卷积利用了一个事实：卷积是傅里叶域上的乘法。对于信号 x 和滤波器 g_θ 来说，谱域卷积可以写作：
5.2.1 空域和谱域要领
对于图数据来说，有两种主要的基于卷积的要领：空域要领和谱域要领。
空域要领的特点在于，在 CNN 中使用由图数据情况下某个极点的邻人形成的局部感觉野。我们将感觉野构建为对于一种直接的图中心隔的度量，给定一个极点作为卷积核的中心，我们观察在一定跳数范围内的极点。谱域要领的特点在于，使用基于图拉普拉斯剖析的间隔度量。
这两种要领都需要仔细思量，创建谱域卷积依赖于图结构。对于空域卷积来说，需要为图数据创建具有平移稳定性的卷积，还要为特定的问题解决确定极点排序和邻人节点顺序的问题。CNN 的另一个缺点是，卷积操作只适用于假设图域固定的极点特性，但在许多情况下，图可能是有噪声的，一些图是事先计算好的，这并不一定反应成员之间的真实关系。
5.2.2 空域要领
空域卷积：PATCHY-SAN（PS）中就用到了空域卷积要领。在这里，它被用来以一种有监视的方式使用 CNN 学习图的表征，从而以一种与经典的 CNN 在图像上的事情模式相类似的方式创建感觉野。对于给定的图 G，在一个区间的极点序列选择历程中，会指定一个极点序列；而在邻人聚合步骤中，会确定一些邻人节点，从而创建感觉野。因此，一个节点的感觉野就是一个邻人感觉野。在创建了邻人感觉野后，需要实现一个归一化的步骤，它本质上是对极点举行排序，从而在向量空间中为得到用于学习图表征的图特性创建了一个向量。
扩散卷积神经网络（Diffusion-convolutional neural networks）是另一种空域要领，它使用随机游走选择空域中相近的极点，通过将第 i 个参数 w_i 与转移矩阵 P_i 的第 i 次幂相干联来构建卷积。
广义卷积：论文「A generalization of convolutional neural networks to graphstructured data」对 CNN 举行了推广，使模子可以或许在尺寸差别的图上天生卷积。该要领使用了一种空域要领选择排序前 k 的邻人，它是以一种图上的基于随机游走的转移矩阵为基础的。他们用 P 导出了 Q^k_ij，它计算出了在 k 步中从给定的极点 x_i 到 x_j 的平均访问次数。图中极点 x_i 处的卷积被表征为张量积 (M, N, d) → (M, N, p, d) 的情势，这个四维张量包罗通过 Q^k 选择出的每种特性排在前 p 的邻人、M 个观测数据、N 中特性，节点深度为 d。
模体 CNN：模体（Motif ）是一种小型的子图模式，它表示了节点之间特定的毗连模式。论文「Motif-based convolutional neural network on graphs」提出了一种基于模体的 CNN，他们界说了一些模体，从而创建了一个围绕目标极点的感觉野。界说了极点 v_i 处的模体卷积单元后，全部在局部通过这种模体相连的极点的特性都会根据其各自的语义脚色被加权。模体 CNN 使用了一种注意力机制来整合从各种模体中提取到的特性，从而举行半监视学习。
5.2.3 谱域要领
「Spectral networks and locally connected networks on graphs」这项事情中提出了谱域网络，并先容了一种构建连通的局部邻人图的技能。使用谱域网络旨在通过图傅里叶变换对卷积网络举行推广。在构建谱域卷积的历程中，图拉普拉斯矩阵的谱被用于推广卷积操作。每一种构建的谱域卷积都在 MINST 数据集的各种变体上举行了测试。
在论文「Deep convolutional networks on graph-structured data」中，作者使用谱域图卷积核构建了上述事情。他们训练了一种图卷积层，它在给定一个傅里叶矩阵 U、插值核 K、权值 w 的情况下，执行前向和反向流传。在前向和反向流传历程中，使命相当于在图上学习谱域卷积核。在第一种变体中，他们从下采样的 MNIST 数据中提取坐标，通过拉普拉斯谱构建卷积。在第二种变体中，MNIST 数据被投影到 3D 球面上。
广义图 CNN ：论文「Convolutional neural networks on graphs with fast localized spectral filtering」提出了一种彻底使用谱理论公式将 CNN 推广到图数据上的要领。在特性提取阶段，作者举行了图信号滤波和图粗化处置惩罚。在图滤波阶段，根据谱公式，在半径为 k 的球内严酷界说局部滤波器。在图粗化阶段，他们使用了一种快速的图聚类软件 Graclus。他们为一个给定的无向图计算了归一化割和比例关联，而无需任何的特性向量计算。当池化压缩输出时，需要界说有意义的图邻人。为了最好地实现这一目标，作者设计了一种二叉树来组织极点，该计谋类似于构建一个一维信号。
图卷积网络：论文「Semi-supervised classification with graph convolutional networks」提出了一种用于半监视节点分类的图卷积网络（GCN）。他们使用了一个神经网络模子 f(X, A) 对图结构举行编码，该模子使用了一种层与层之间的流传规则，其中特性 X 是通过在毗邻矩阵 A 上使用流行的 WL 算法得到的。在这种情况下，思量谱域卷积
其中，x 是每个极点的信号，计算该信号的计算开销是相当大的（尤其是在大型图中）。g_θ 可以通过切比雪夫多项式近似得到：
论文「Modeling relational data with graph convolutional networks」提出了一种关系图卷积网络（R-GCN），它是对 GCN 的扩展，可以用于链接预测、预测事实、实体分类。该模子是由编码器息争码器组成，编码器是一个天生实体的潜在表征的 R-GCN，解码器是一个张量剖析模子。
辨认和注意力机制（GAT）：在论文「Beyond Grids: Learning Graph Representations for Visual Recognition」中，二维特性图被转化为了图结构，其中节点代表图块区域而边则获取到这些区域之间的关系。通过使用图投影、图卷积以及图重投影等步骤，完成了图结构的上下文建模和辨认。图注意力网络（Graph attention networks）使用基于注意力的架构举行图结构数据的节点分类。在计算了每条边紧张性时，它只处置惩罚了每个关联极点的特性。之后，该模子被用于归纳学习，它可以被泛化到未曾见过的图上。
5.3 图神经网络
我们将基于图的神经网络（GNN）界说为一种毗连遵照 G(V,E) 结构的框架。
图神经网络（GNN）：这最早提出由图结构驱动的神经网络架构的要领之一。给定其邻寓所包罗的信息，每个极点附有一个状态向量 x_v，其中每个极点包罗极点条理上的标签信息 l_v。
GNN 中两个主要的步骤是：（1）一个参数化的转移方程 x_v = f_w(l_v, l_N(v))，它表明极点 v、标签 l_v、邻人节点N(v)之间的依赖关系通报了学习到的极点表征。（2）局部的输出函数 O_v = g_w(x_v, l_v) 将极点表征映射到各个图的标签上。编码网络是通过将每个极点的状态存储下来而且在激活时更新状态构建的。GNN 通过一种递归的方式学习，它使用一种循环关系获取每个极点 v 在欧氏空间中的嵌入 x_v。该模子是端到端可微的，它通过最小化二次代价函数学习参数 w。
图门控序列神经网络和门控图变换网络：图门控序列神经网络（GGSNN）是一种 GNN 的变体，可以得到非序列输出。该模子的一个典型的示例是：输出逻辑公式。通过使用门控循环单元（GRU），GGSNN 睁开了一个固定命目步骤的递归式。基于时间的反向流传算法（BPTT）被用来基于梯度。流传模子与 GNN 思绪相当，每个极点的表征都是遵照一种递归关系更新的。输出模子是针对每个极点界说的可谓函数，它映射到一个输出上。
论文「Learning graphical state transitions」提出使用门控图变换神经网络（GGTNN），从而解决推理问题。这篇论文融合了诸如节点添加、节点状态更新、信息流传、信息聚合等大量的图变换操作，从而解决自动问答和图重构使命。Battagalia等人对图神经网络架构举行了富厚的研究，讨论了各种设计特性，包括消息通报神经网络、非当地神经网络以及各种图神经网络变体。
5.4 图嵌入要领
将图嵌入到一个低维空间中涉及到一系列技能，这些技能将输入图变换到其分别的向量表征中，并通过一个应设函数将它映射到空间中的一点。
各种各样的图嵌入技能已经被用于可视化、社区发明、无线装备定位、电网路由等使命中。图嵌入技能重点存眷保持相近性，从而使相同邻域中的极点在欧氏空间中相近。在已往，图嵌入要领已经被乐成地用于获取底层图数据表征。
在 ISOMAP 中，他们使用了一个邻域球面将图数据转化到一个图中，使用迪杰斯特拉算法计算极点之间的测地间隔。另一种要领是多维标度法(MDS)，当它被应用于测地线间隔矩阵时，得到的结果是一个重构流形，它通常被用于定位庞大数据集中格式良好的流形。局部线性嵌入，被认为是 PCA的一种变体，它使用了最近邻要领减少了数据的维度。
论文「Representation learning on graphs: Methods and applications」则先容了将自编码器应用于天生图表征的要领。我们有一对编码器解码器框架得到一对嵌入 (z_i, z_j)，如许一来我们在重构框架上使用了如下所示的丧失函数 L：
大抵的想法是，编码器 ENC 将极点映射到向量嵌入上，而解码器 DEC 接受一组嵌入，并根据这些嵌入解码出用户指定的图统计信息。大多数作者接纳的一般事情流程设置是找到在图上界说的相似度函数，然后是学习嵌入的成对编码器-解码器，L 是决定性能的丧失函数。
将自然语言技能用于学习图的节点和边的表征是早期图表征学习研究领域的主要范式。研究职员凭直觉提出了一个大胆的假设，对单词编码到一个 N 维空间中向量中（其中每个维度代表一些语义）的要领举行修改，以类似的方式学习图表征，使每个向量编码图的拓扑信息。
别的，图嵌入要领在基于游走的要领、基于子图的嵌入要领、多模态数据图的嵌入、归纳框架等方面取得的最新的进展包括：深度游走（DeepWalk）、Node2Vec、Grarep 、subgraph2vec、Visual Genome 等。
5.5 概率要领
学习图数据表征的概率要领包括各种各样的神经天生式模子、基于梯度的最优化要领以及神经推理技能。潜变量建模涉及到对一个潜变量 z 和一个观测到的变量 x 之间的关系通过一个相干的参数 θ 建模。
在这里 p_θ(x, z) 是联合漫衍，p(z) 是先验漫衍， p_θ(x|z) 是似然函数。在贝叶斯模子中举行推理是通过对后验概率 p(z|x) 举行调解实现的。在许多情况下，由于庞大的概率密度函数，计算后验概率并不容易，因此需要近似推断工具。变分要领包罗一系列通过一个简朴的密度函数对庞大的密度函数做近似的要领，这种简朴的密度函数由一个新的近似后验漫衍 q_θ(z|x) 表征。变分自编码器是一类新的变分要领，它利用了神经网络的计算范式，使用反向流传技能构建了一类新的神经天生式模子。这种天生的行动产生在将数据从潜在空间映射到观察空间的历程中，这个映射是使用神经网络完成的。
变分图自编码器（Variational Graph Auto-Encoders）是一种学习图表征的变分自编码器要领。它将 GCN 作为了一个编码器，并使用了内积操作作为解码器。模子推断如下所示：
X 是使用 WL 算法得到的节点特性矩阵，A是毗邻矩阵，则我们有：
在这里，µ 和 σ 是通过 GCN(X,A) 赋值的参数。天生模子形如：
其中，σ(·) 为 logistic 函数。该历程通过优化下面的变分下界来学习：
别的，概率要领在分子数据表征、特性空间设计、图天生等领域均有一系列进展（详情请参阅原文）。
六、未来的发展偏向
在图表征学习领域中，一些新兴的研究重点存眷的是先验漫衍中编码图数据、学习带权图的表征、学习时序图的表征、学习时序模体的表征、解决非欧图域的特定挑战、解决使用有向图的挑战。与此同时，在开发新的概率要领来学习图数据的表征方面，也另有进一步的发展空间。
本文对核要领、卷积要领、图神经网络要领、图嵌入要领和概率要领等五种主要要领举行了鉴别、分组、调研和讨论。虽然表征学习解决了自动地利用图像、声音和文本数据的信息，但并没有一个通用的好要领来处置惩罚图数据。从业职员可以将这篇综述作为获取关于最新进展的知识的路线图，也可以作为引导进一步实验的工具。 雷锋网 雷锋网 雷锋网(公众号：雷锋网)
雷锋网原创文章，未经授权克制转载。详情见转载须知。
