京东探索研究院詹忆冰：图神经网络的发展趋势

很荣幸受邀参加这次大会，我是京东探索研究院图神经网络方向负责人詹忆冰。今天将由我跟大家分享，在现在人工智能产业我们发展认为迎来一种拐点的技术，也就是图神经网络，我们将介绍它的一些机遇以及我们现在的一些挑战。

人工智能的发展演进，在 50 年代时人工智能概念被提出，第一台神经网络机在 1951 年就被发明出来了。当人工智能概念被提出来之后，人们给予了非常大的期望，但在很长一段时间，大家发现人工智能可能并没有那么智能，大部分事情它完成得还是没有人好。但是转机是在 1980 年代，当时专家系统被提出，大家发现如果人工设定一些规则，机器按照这些规则做一些事，成功率会大大提升。当时这种专家系统在金融领域得到了非常好的应用，也是我们机器学习或者人工智能从理论走向应用的开端。2010 年，数据得到了爆炸式的提升，算力，包括刚刚提到的鸿蒙系统，让算力及系统得到了大大提升，我们的深度学习逐渐兴起。在当时各种各样的技术性能初步超越了人类的标准，人工智能的应用到现在在千行百业得到了非常大的发展。

我们这给出了一些比较大的领域，包括在智能零售，在购物的时候，发现我们所需要购买的商品，算法会给我们事先推荐好。现在一个比较流行的话题是自动驾驶，无人车或者无人物流车在街上行走时，人工智能算法也为这些车提供了非常多的方便。现在也比较流行工厂的智能制造，京东最近一直在做从客户到工厂的定制，也是通过人工智能来收集一些用户的需求，反向传递给工厂，让工厂生产出来的产品更加受到用户的欢迎。我们现在一个非常火的，我们都希望我们人是非常健康的，人工智能的技术在智慧医疗领域也得到了极大的应用。我们现在也非常关心小孩或者成人的教育，也是利用人工智能的技术，一方面能提升教育所需要的知识，同时能实时反馈教育当中的一些问题，来进一步提升智慧教育的质量。我们也提到了智慧物流领域，京东在智慧物流领域也部署很多，京东的亚洲 1 号仓基本上可以实现无人化的设施。

人工智能应用是非常广泛的，但是它的落地一直是产业界非常关注的问题。关键问题之一是我们现在实际应用场景中的数据类型多种多样的，我们接触的数据，所采集的大家的声音，也就是音频信息，以及通过手机给人 / 物拍的图片信息，包括写出来的这些文字，这些信息一定程度上我们认为是结构化的信息，视频拥有时序，音频拥有时序，图片本身具备固定规则的网格信息，文字也是具有顺序的。我们的人工智能技术，大家可能或多或少听说有卷积神经网络、循环神经网络，这些技术在处理这些结构化数据时已经处理得非常好了。但是我们需要注意到的是，在场景当中更多的数据是以非结构化的形式所表示的。比如说人体的蛋白质这种分子结构，里面涉及到分子、原子以及键价，需要注意到现在供应链的数据，每个地区的数据采集往往不是孤立的，而是汇总的全国甚至全球的数据。现在人手都是有手机的，大家交互起来非常轻松，这些交互信息构建成了社交网络。现在一个非常火的话题是知识图谱，将两个目标以及它之间的关联，可以构成一个三元组，各种各样的知识汇聚到一起，也可以以突破的形式进行呈现。还有更多的场景，他们的结构数据并不是一种结构化的数据，往往具有动态甚至多样性，这些非结构化的数据对我们传统的人工智能的算法提出了一些挑战，传统人工智能算法在这些场景上应用可能并没有我们期望的那么好。

因此，我们需要进入到能去建模这些非结构数据，能在这些非结构数据上进行模拟甚至计算、学习的网络，也就是图神经网络。总而言之，图神经网络就是为了这一部分非结构数据或者图结构数据所设计的。

我们首先需要将这些场景的数据抽样出来，我们需要找到一种合适的模型，去对它进行建模，这样给出来的模型就是图结构。在社交网络当中，我们每个人可以看成一些节点，人与人之间的关系则可以看成这些节点之间的交互或者边，最终这些节点和边就构成了非常典型的图谱表示，也就是图结构。这些结构是从人的角度来说的，我们需要用计算机来处理它，这时候我们需要把这些人能理解的数据抽象成计算机能理解的表示，节点之间的关联我们最简单的表示就是如果没有关联为 0，如果有关联为 1，作为图结构的输入，图神经网络就可以开始发挥它的作用。

给出一个非常简单的图神经网络的工作原理，也是一个非常著名的神经网络结构，图卷积神经网络。它是在我们输入这个图结构，我们节点具有本身的一些表征，向连为 1，不相连为 0，输入当前的图数据结构之后，图卷积神经网络就会对每个节点的信息进行更新，首先会接收这些领域的信息，依赖于当前节点本身的信息以及接收到的通过边传递过来的领域信息，对当前的图节点进行更新，这样我们就得到了更新的图网络。图卷积神经网络，我们在对整个图的节点进行更新或者边进行交互之后，可以处理非常多的下游任务。抽象出来的是三类任务，一类是跟节点相关的任务，当我们获取到节点本身的表征之后，我们可以对这些节点进行分类。在我们实际场景当中，如果是推荐场景，比如我们可以知道两个用户之间是否相似，那我给这个用户一些关联的商品是否可以给另外一个节点关联起来，应该推荐给他，可以用图神经网络进行预测。第二大类是链路预测，我们在获取了图网络当中节点网络的表征之后，我们需要知道两个节点之间是否具备关联，也就是链路预测。我们想知道哪两个用户之间是不是具有一个相关的关系，可能这两个用户是互相喜欢也可能互相不喜欢，这样就抽象出来了链路预测的任务。最终我们有一个图节点的任务，我们在汇总整个图的每个节点的表示，可以采用一些平均或者最大的操作来汇总到整个图结构的表示，这种任务可以做一些图分子，比如说一些分子的整体的分类，或者某一个社区是否属于某一类标签的打标。

简单介绍了一些图神经网络基础的知识之后，我们希望来介绍一下图神经网络怎么来助力产业智能升级，举的例子包括智慧医疗、智慧零售、智慧物流，对应京东的健康、零售以及物流的三个方面。

首先介绍一下图神经网络在智慧医疗当中的作用，蛋白质预测，更多是一个学术的任务。在传统的方法或者科学家在实验室中，我们想要知道一个蛋白质的结构，往往需要非常专业的仪器，需要对这种蛋白质结构不断进行尝试，进行分析，整个流程是非常耗时耗精力，也比较耗费钱。但是今年《Nature》上的一篇封面文章，能解码或者预测人体绝大部分的蛋白质结构，也对我们蛋白质预测给出了非常大的曙光。里面有一个模块是 attention 的模块，可以将蛋白质中的这些分子作为节点，分子之间的关联作为边，最后采用图结构的建模形式，对整体的性质进行预测。基于此，我们在智慧医疗其他产业的具体应用上的关联，包括分子制药，分子研制的药物往往是最基本的原子、分子，这些结构可以用图神经网络进行建模，最终会将这些分子，一种方式是将它们相同的形式或者比较重要的结构进行聚类，就像我们进行药物发现时，我们往往会去采取选择那些我们更需要的结构。我们也可以使用图神经网络去学习、去预测，假设我们构建的这些分子结构它最终可能对我们人体或者对这种药物有什么关联。采用类似的方法之后，它可以进一步缩短我们的分子制药周期，来提升制药效率，也是为我们的健康做出一些保障。还一个例子是医学诊断，我们现在去看病的时候，往往之前的一些看病病例信息在系统中会得到存储，这些信息跟当前的诊断现象会进行一些交互，这样可以进一步促进医疗诊断的精度。

接下来介绍智慧零售方面的例子，我们往往在购买一些商品时会纠结，我们可以将这些原本购买的东西作为节点，也可以用图神经网络对它进行建模，最终告诉我们这个衣服是不是合适，或者它从美学标准来看打多少分，来进一步提升用户的购买欲望以及提升用户购买合适的准确率。我们有商品推荐，当前的用户所需要购买的商品可以用图神经网络去建模之后，选择跟他相似的用户所购买的商品推荐给他。另一种，选择了一些商品之后，这些商品跟它相似的那些商品，我们往往会倾向于推荐给这些用，进一步的，在智能客服场景，用户跟智能机器人不断交互时，我们之前所说的一些信息以及我们当前所说的一些信息，会由智能机器人通过图神经网络进行分析，最后汇总，来得到比较好的回答，然后进一步提升用户的转化率或者用户的回答率。

我们也想介绍一下智慧物流的一些例子，我们给出来的是图像分类的例子。图像是结构化的数据，但是图像如果我们将它分块之后，非结构化的数据可以用图神经网络，无人物流车需要涉及到一些环境识别的东西，我们去交互周围场景的信息，可以用图神经网络获得一些更好的结论。无人物流车上会有很多激光雷达，采集到的信息天然是以 3D 点云的存在，可以用图神经网络去进行描述。

前面介绍的图神经网络一些在产业当中的助力，但实际上图神经网络要想真正应用到产业当经当中，有非常大的挑战。第一个挑战，我们之前做学术的时候用到的图级别的规模可能就是一两千个节点，但是在工业场景当中，图级别规模是非常大的，比如 Meta，也就是 Facebook，他活跃用户是 29 亿人，如果想对 29 亿人所做的图进行建模，所需要的对模型的需求以及算力的需求是非常庞大的。涉及到两个基本的问题，第一，虽然训练模型时可以用采样，100 个节点，可以采样 10 个节点来进行训练，这样算起来复杂度是下去了，但是图结构数据有一个非常大的特性，数据与数据之间是具有关联的，如果我们从 100 个节点中抽 10 个节点，一定程度上 90 个节点的关联信息在这时候是丢弃的，它训练的最终我们获得到的人工智能的性能比我们想象得好。但是进一步，如果将整个工业图进行输入，遇到的问题是目前的算力支持可能还需要有进一步的提升。

另外一个是图神经网络，需要向深度图神经网络的进化和演练。如果只有一层图神经网络，当前的节点或者当前的用户只能跟他的邻居进行交互，而这种交互往往是不够的，我们希望他能以自己的邻居为跳板，来接收到更多的信息，或者有很多的节点，他们会汇聚成一种比较高阶的信息，通过图神经网络传递到当前的节点上来，图神经网络必然会需要往深处发展。现在越深的神经网络，表征性越强，就越能对我们的场景进行性能的提升。可能会依赖于邻居的信息，当我们在应用场景时，这个邻居不存在，性能会大幅度存在。过平滑，小时候或多或少做过一些实验，将一滴墨水滴到水杯里，虽然时间推移，无非区分墨水和纯水的区别。网络越加深，信息交互越平凡，信息趋向于一致，信息越同步，越无法用这种深度神经网络对我们的节点或任务做出准确预测。还有过挤压的问题，一个人的邻居是有限的，比如我只有三个邻居，但是我们想要深度神经网络本身接触到更深层的结构，我们的邻居还有自己的邻居，邻居还有自己的邻居，当这种叠加式增长之后，再回到当前节点，这种信息是爆发式的，我们很难去获取一个非常准确的信息。因此，这些问题就导致图神经网络无法向深度进化。

京东探索研究院也是希望在缓解这两个问题的同时，让我们图神经网络的性能能得到大幅度的提升。我们图神经网络虽然现在在部分产业中已经得到了非常好的应用，但是我们希望性能提升的同时，我们将结构化的数据抽象为非结构化，利用图神经网络来进行建模，在某些还没有或者没有很好应用图神经网络的场景，我们图神经网络能为这些场景带来一些启示或者一些进步。我们是产业，我们希望这种图神经网络的应用能为我们成本、效率、体验都能带来优化，最终让我们的价值会得到一个大幅度的发展。

最后我对我们京东探索研究院做一个简单介绍，京东探索研究院是京东所成立的一个新研发部门，它将从基础理论层面来实现颠覆式的创新，对我们京东集团零售、物流、健康等各个场景进行赋能。我们这给出来一个公众号，大家有兴趣可以关注一下，可以了解一下京东探索研究院的一些前沿动态。京东探索研究院现在有三大研究领域，包括超级深度学习，也就是海量多种模态的超级神经网络的训练新范式。可信人工智能，量子机器学习，我们会研究量子机器学习算法超越经典算法的这些能力。

以上是我这次演讲的所有内容，谢谢大家。