这篇文章是基于“元图:通过元学习的少量投篮链接预测“由Joey Bose，Ankit Jain，Piero Molino和William L. Hamilton

许多现实世界数据集都作为图形构造，因此，在图表上的机器学习已经是学术界的有效研究领域多年。雷竞技是骗人的图中的一个流行的机器学习任务是链路预测，这涉及在图中的节点之间的缺失关系/边缘预测。例如，在社交网络中，我们可以使用链接预测来为友谊推荐系统提供电量，或者在生物网络数据的情况下，我们可以使用链接预测来推断药物、蛋白质和疾病之间可能的关系。^2,10然而,尽管它的受欢迎程度,以前的工作链接预测通常只关注一个特别的问题设置:它通常假定链路预测是执行在一个大的图,这个图是相对完整的,也就是说,真正的边缘,至少50%是观察在训练。^3,9.

在这项工作中，我们考虑更具挑战性的少拍摄链路预测，其中目标是在多个图表上执行链路预测，该图是仅包含其真实的底层边缘的一小部分的多个图表。此任务的灵感来自我们可以从单个域访问多个图形的应用程序，但其中每个图形中的每一个仅包含真实的底层边缘的一小部分。例如，在生物学环境中，高通量互分子提供了估计来自不同组织，细胞类型和生物的数千种生物相互作用网络的可能性;然而，这些估计的关系可能是有噪声的和稀疏的，我们需要学习算法来利用这些多图之间的信息，以克服这种稀疏性。¹⁶类似地，在电子商务和社交网络设置中，在我们必须对稀疏估计的图快速做出预测的情况下，例如当服务最近部署到一个新的地区时，链接预测通常会产生很大的影响。换句话说，对于一个新的稀疏图的链接预测可以受益于从其他图(可能更密集)传递知识，假设存在可利用的共享结构。

我们介绍了一个名为的新框架元图，用于少量投篮链接预测，并针对该任务进行了相应的一系列基准测试。我们将经典的基于梯度的元学习公式应用到图域分类中。^5、6具体地说，我们把图上的分布看作是任务上的分布，从中可以学习到全局参数集，我们使用这个策略来训练能够进行少量链接预测的图神经网络(gnn)。为了进一步引导快速适应新的图，我们还引入了一个图签名函数，该函数学习如何将输入图的结构映射到GNN链接预测模型的有效初始点。我们在三个链接预测基准上实验验证了我们的方法。我们发现，我们的MetaGraph方法不仅实现了快速适应，而且在许多实验设置中收敛到更好的整体解决方案，与非元学习基线相比，收敛时的AUC平均提高了5.3%。

少量链路预测设置

给出一个图上的分布p (G)从中我们可以对训练图进行抽样G_我= (V_我E_我, X_我)在哪里V_我是一组节点，E_我是一组边，和X_我是一个实值节点属性矩阵。我们假设每一个样本图，G_我，是一个简单的图，这意味着它包含单一类型的关系，没有自我循环。我们进一步假设，对于每个图G_我我们只能获得少量训练边E_火车⊂e（与| E_火车| < < | E |)在培训。最后,我们假定p (G)在一组相关的图上定义，无论它们是从一个共同的领域或应用程序设置中绘制的。

我们的目标是学习全球或元链接预测模型从一组抽样训练图G_我〜p（g）在哪里我= 1…n。有了这个元模型，我们随后可以快速地从新采样图中的边缘子集学习局部链接预测模型G∗∼p (G)。更具体地说，我们希望找到一组全局参数θ，它可以生成有效的参数初始化，φ*,对于一个当地的图上的链接预测模型G∗。

请注意，这与标准的链接预测设置非常不同，后者的目标是从单个图而不是图的分布中学习。它也不同于用于少量镜头分类的标准元学习这通常假设有个人预测的任务独立同分布，而不是训练图中的边是相互依赖的。¹³

建议的方法:Meta-Graph

我们的方法，元图，利用了图神经网络(gnn)。原则上，它可以与多种基于GNN的链接预测方法相结合，但我们采用了一种特定的GNN，变分图自动编码器(VGAEs)，作为我们的基链接预测框架9。

元图背后的关键思想是我们使用基于梯度的方法元学习优化共享全局参数θ，初始化VGAE链路预测模型的参数。同时，该模型还学习了一个图签名函数，一个我们用来调节VGAE模型参数的图的向量表示。如果模型曾经观察到一个类似的图，它目前正在检查，它将能够相应地调整模型参数。这有助于模型利用梯度下降的几个步骤学习有效的参数。

如果给我们一个抽样的训练图G_我，我们使用两种学习组件的组合初始化VGAE链路预测模型的参数：

• 全局参数θ，用于初始化所有参数φvgae模型。这φ参数优化使用n梯度下降阶数，而全局参数，θ,是否通过二阶梯度下降优化来为从分布中采样的任何图形提供一个有效的初始化点p (G)。
• 图签名年代_我=ψ（g_我)用于调节VGAE模型的激活。图签名函数通过另一个GNN得到。比如全局参数θ，图形签名模型ψ通过二阶梯度下降进行优化，以对本地链路预测模型进行编码的类似参数初始化，以用于类似于元学习的目的的图表。有关我们的图形签名功能的更多详细信息，请参阅我们的论文。

我们详细介绍了图1中的整体元图架构，如下所示：

总的来说，训练算法可以总结如下:

1. 1. 对一批训练图进行抽样
   2. 使用全局参数和签名函数初始化这些训练图的VGAE链路预测模型
   3. 运行k梯度下降的步骤以优化这些VGAE模型中的每一个
   4. 利用二阶梯度下降方法，基于保留的边缘验证集更新全局参数和签名函数

我们的全文详细说明了几个元图变体，这就如何使用图形签名函数的输出来调制VGAE推理模型的激活来不同。

实验设置

为了测试Meta-Graph在现实世界中是如何工作的，我们设计了三个新的基准来进行少量链接预测。所有这些基准测试都包含一组从公共域绘制的图表。在所有设置中，我们使用80%的这些图进行训练，10%作为验证图，这些训练和验证图用于优化全局模型参数(用于元图)或训练前权重(用于各种基线方法)。剩下的10%作为测试图，我们的目标是在这些测试图上训练一个模型，以实现高链接预测精度。

在这个少量链接预测设置中，在边级和图级都有train/val/test分割。我们使用训练边来预测每个图上测试边的可能性，但我们也同时在多个图上训练模型，目的是通过全局模型参数促进对新图的快速适应。

我们的两个基准是从蛋白质相互作用(PPI)网络的标准多图数据集和3D点云数据(Firstmm-DB.)。^10、11第三是基于aminer引文数据的新型多图数据集，其中每个节点对应于纸张和链接代表引用¹²。对于所有数据集，我们通过对边缘的一个小子集(即百分比)进行训练来执行链接预测，然后尝试预测未可见的边缘(保留的边缘的20%用于验证)。

一些基线对应于元图的修改或消融，包括直接适应模型 - 不可知的元学习（MAML），一个微调基线，在那里我们在测试图中以顺序观察到的训练图中预先训练VGAE，并在测试图上进行芬特（称为整合)。我们还考虑每个测试图上单独训练的VGAE(称为不整合)。我们使用另外两个标准基线用于链路预测任务，即DeepWalk和Adamic-Adar以确保元图提供了实质性的改进。^14、15

结果

我们在两个设置中比较了Meta-Graph和基线模型，以了解如何适应新的看不见的测试图表。我们培训模型到收敛的融合设置，以及我们在仅执行5个梯度更新后调整模型的快速适配设置。在两个设置中，我们训练使用10％，20％和30％的测试图的边缘和测试图的测试边缘测试。通过计算链路预测AUC来测量性能。

用于收敛设置。我们发现Meta-Graph达到了最高的平均AUC，与MAML方法相比相对改善了4.8%，与the方法相比改善了5.3%整合基线。当只使用10%的边时，Meta-Graph的性能更强，这表明了该方法在处理非常有限的数据时的潜力。

在快速适应设置中，我们再次发现，Meta-Graph在除一个设置外的所有设置中都优于所有基线，与MAML相比，平均相对改善9.4%，与微调基线相比，改善8%。换句话说，Meta-Graph不仅可以从有限的数据中学习，还可以使用少量的梯度步骤快速获取新数据。

结果如图2和图3所示:

前进

在本研究中，我们雷竞技是骗人的引入了元图，一种解决少杆链接预测问题的方法，其目标是准确地训练ML模型，快速适应新的稀疏图数据。在经验上，我们观察到使用Meta-Graph相比强基线在三个不同的少杆链接预测基准上的显著收益。

总的来说，这项工作适用于研究人员从单个域访问多个图形，而是这些单个图中的每一个只包含雷竞技是骗人的真实的底层边缘的一小部分。例如，在生物学环境中，高通量互分子可以提供估计来自不同组织，细胞类型和生物的数千种生物相互作用网络的可能性;然而，这些估计的关系可能是有噪声的和稀疏的，我们需要学习算法来利用这些多图之间的信息，以克服这种稀疏性。类似地，如前所述，在电子商务和社交网络设置中，链接预测通常会在我们必须快速对稀疏估计的图表中快速预测的情况下产生很大的影响，例如当最近部署到一个新的服务时区域设置。换句话说，对于一个新的稀疏图的链接预测可以受益于从其他图(可能更密集)传递知识，假设存在可利用的共享结构。

致谢

我们非常感谢Jan Pedersen, Jason Yosinski, Sumanth Dathathri, Andrea Madotto,Thang Bui, Maxime Wabartha, Nadeem Ward, Sebastien Lachapelle和Zhaocheng Zhu对这项研究的贡献。雷竞技是骗人的

标题中的图标来自icons8.com。

参考文献

1. 1. David Liben-Nowell和Jon Kleinberg。面向社交网络的链接预测问题。《第十二届信息与知识管理国际会议论文集》，第03期，556-559页，纽约，纽约，美国，2003。ACM。ISBN 1-58113-723-0。doi: 10.1145/956863.956972。
   2. 卢卡·玛丽亚·艾洛、阿兰·巴拉特、罗萨诺·希法内拉、西罗·卡图托、本杰明·马金斯和菲利波·门泽。社交媒体中的友谊预测和同性恋。ACM反式。2012年6月。ISSN 1559 - 1131。doi: 10.1145/2180861.2180866。
   3. Aditya Grover和Jure Leskovec。node2vec:面向网络的可扩展特性学习。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，855-864页。ACM, 2016
   4. 托马斯·N·基普夫和马克斯·韦林。利用图卷积网络进行半监督分类。arXiv:1609.02907, 2016a
   5. Erik G Miller, Nicholas E Matsakis和Paul A Viola。从一个例子中学习通过共享密度变换。IEEE计算机视觉与模式识别会议论文集。CVPR 2000(猫。不。PR00662)，第1卷，464-471页。IEEE 2000
   6. 格雷戈里·科赫，理查德·泽梅尔，鲁斯兰·萨拉胡蒂诺夫。用于一次性图像识别的暹罗神经网络。在ICML深度学习研讨会上，2015年第2卷
   7. 。的Jurgen。施密德胡贝尔表示自我参照学习或学习如何学习的进化原则:元-元…钩。博士论文，工业大学München, 1987
   8. 塞巴斯蒂安·特龙和洛里安·普拉特。学会学习。施普林格科学与商业媒体，2012
   9. 托马斯·N·基普夫和马克斯·韦林。变形图自动编码器。arXiv:1611.07308, 2016b
   10. Marinka Zitnik和Jure Leskovec。通过多层组织网络预测多细胞功能。生物信息学,33 (14):i190-i198, 2017年
   11. Marion Neumann, Plinio Moreno, Laura Antanas, Roman Garnett和Kristian Kersting。任务依赖机器人抓取对象类别预测的图核。《第11届图形挖掘与学习在线研讨会论文集》，第0-6页，2013
   12. 唐杰、张静、姚利民、李娟子、张莉、苏忠。Arnetminer:学术社交网络的提取和挖掘。第14届ACM SIGKDD知识发现和数据挖掘国际会议论文集，990-998页。ACM, 2008
   13. 切尔西·芬恩，彼得·阿贝尔和谢尔盖·莱文。用于深度网络快速适应的模型无关元学习。《第34届机器学习国际会议论文集》第70卷，1126-1135页。JMLR。org, 2017
   14. Bryan Perozzi，Rami Al-Rfou和Steven Skiena。深度：在线学习社会代表性。在第20届ACM SIGKDD国际知识发现和数据挖掘会议上的议程中，第701-710。ACM，2014
   15. 拉达·阿·亚当和艾坦·阿达。网上的朋友和邻居。社交网络，25(3):211-230,2003。
   16. Liu, Zhong Liu, Robert S Donovan, Fukiko Shinjo, Yongmei Liu, Joanna Dembowy, Ian W Taylor等。哺乳动物细胞中动态信号网络的高通量映射。科学,307(5715):1621 - 1625年,2005年。