KDD 2023 | 以灵活应万变：一种图分布外泛化框架FLOOD
然而，世界瞬息万变，唯一不变的是变化本身，宇宙的根本在当今世界的变化中可能很难找到。“以灵活应万变”是一种面对变化时更加可行的思路，能够及时调整和适应变化的策略或模型。遵循“以灵活应万变”的设计原则，本文提出了一种灵活的不变图表示学习框架 FLOOD，可以根据目标分布灵活地更新图编码器参数以使模型获得最佳的泛化效果。
论文标题：
FLOOD: A Flexible Invariant Learning Framework for Out-of-Distribution Generalization on Graphs
https://dl.acm.org/doi/10.1145/3580305.3599355
研究动机
环境构造难：GIL [3] 通过生成一个软掩码矩阵来识别不变子图和环境子图，应用于图分类任务难以适用于节点分类；EERM [4] 用生成器生成多个训练环境，计算开销大且生成器输出难控制。 模型灵活度低：不变学习后模型参数是固定不变的，在测试分布发生偏移时，难以根据目标分布变化灵活地调整模型实现泛化。
研究方法
实现分布外泛化的图表示学习，要求模型在多种训练环境中，学习得到节点的不变表示。通过风险外推准则，在降低每个环境训练风险的同时，要求训练风险之间的相似性增大，当测试环境分布发生偏移时，测试风险的变化减小，模型泛化性增强。
为了捕捉目标分布的变化，需要设计一种不依赖于真实标签的自监督学习模块感知分布变化，因为分布偏移后的样本标签往往是不可获得的。图对比学习是常用的图自监督学习方法，但其中负样本采样往往需要大量计算资源，不利于在发生概念漂移时迅速调整模型，因此拟采用不同训练环境间的自助表示学习，避免负采样带来的计算开销。
整个算法流程为：
由原始图数据 构造 个训练环境 ； 基于共享编码器 得到每个训练环境中节点表示 ； 在训练图中分别计算不变学习模块和自助学习模块，最小化训练损失函数 ，更新全部编码器和分类器参数； 在测试图中只计算自助学习模块，最小化训练损失函数 ，更新共享编码器参数。
实验分析
在图分布外泛化基准数据集 GOOD [7] 上进行实验，四个数据集在不同偏移域上的节点分类的分布内和分布外准确率如下表所示。
总结与展望
参考文献
[1] Liu, Yang, Xiang Ao, Fuli Feng, Yunshan Ma, Kuan Li, Tat-Seng Chua, and Qing He. "FLOOD: A flexible invariant learning framework for out-of-distribution generalization on graphs." In Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 1548-1558. 2023.
[2] Arjovsky, Martin, Léon Bottou, Ishaan Gulrajani, and David Lopez-Paz. "Invariant risk minimization." arXiv preprint arXiv:1907.02893 (2019).
[3] Li, Haoyang, Ziwei Zhang, Xin Wang, and Wenwu Zhu. "Learning invariant graph representations for out-of-distribution generalization." Advances in Neural Information Processing Systems 35 (2022): 11828-11841.
[4] Wu, Qitian, Hengrui Zhang, Junchi Yan, and David Wipf. "Handling distribution shifts on graphs: An invariance perspective." In International Conference on Learning Representations, 2022.
[5] Krueger, David, Ethan Caballero, Joern-Henrik Jacobsen, Amy Zhang, Jonathan Binas, Dinghuai Zhang, Remi Le Priol, and Aaron Courville. "Out-of-distribution generalization via risk extrapolation (rex)." In International Conference on Machine Learning, pp. 5815-5826. PMLR, 2021.
[6] Wu, Ying-Xin, Xiang Wang, An Zhang, Xiangnan He, and Tat-Seng Chua. "Discovering invariant rationales for graph neural networks." In International Conference on Learning Representations, 2022.
[7] Gui, Shurui, Xiner Li, Limei Wang, and Shuiwang Ji. "Good: A graph out-of-distribution benchmark." Advances in Neural Information Processing Systems 35 (2022): 2059-2073.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧