联通（上海）产业互联网有限公司胡超：从监督学习走向自我学习

机器心脏报告

演讲:胡超

近日，在WAIC 2022 AI开发者论坛上，中国联通工业互联网有限公司AI技术总监胡超发表了“从监督学习到自主学习:无监督目标级表征学习”的主题演讲。

在演讲中，胡超主要介绍了他们在深度学习领域的应用和发展，以及无监督技术的应用案例。讲座分为五个方面:无监督学习，MIMGAN，图像修复与对比学习，流模型与扩散模型，无监督学习场景的应用。在介绍应用场景时，胡超主要谈到了无监督学习在智慧城市中的应用。最后，胡超认为，基于海量未标记数据，不同于强监督的数据瓶颈，无监督学习在此基础上蓬勃发展，规模不断扩大。就像元宇宙的浪潮一样，无监督学习将成为未来打破数据瓶颈的应用技术。

中国联通互联网有限公司AI技术总监

以下是胡超在WAIC 2022 AI开发者论坛上的演讲内容。《机器之心》在不改变初衷的情况下进行了编辑整理。

今天给大家带来的题目是《从强监督到自我监督:无监督的目标级表征学习》，主要介绍我们在深度学习领域的应用和发展，以及无监督的技术应用案例。

首先简单介绍一些深度学习领域中无监督和强监督学习的例子。目前强监管发展比较蓬勃，落地项目多，业绩不错。但有一个问题——在数据爆炸的信息时代，数据积累的速度远远超过数据处理的速度，无监督学习应运而生。它不依赖于负样本和数据标签，只依赖于正样本。目前，无监督学习发展迅速，有一些应用和研究。

接下来，我们来了解一下图像生成中传统的AE和VAE路线。首先，传统的AE重建路线主要集中在自动编解码上，分别对应数据输入和数据重建。另一条技术路线是VAE。VAE和AE的区别在于背后的原理——主要取决于图形模型方法。它的输入不是映射成一个向量，而是一个独立的分布，服从某种分布，比如高斯分布，正态分布等等。基于VAE技术的发展，也有很多衍生的创新，比如VQ-VAE。而围绕他们的创新主要集中在潜在特征向量创新上，主要是寻找一个好的表征或者潜在特征向量，这个表征或者潜在特征向量是独立的，可分解的。通过训练好的模型，我们可以捕捉到面部表情、肤色等独立因素。这样的因素是可分解的，在图像生成领域有利于更好的图像生成效果。

Masklmage建模最近也很流行。这里也有编解码结构，但是采用了非对称结构设计，优点是大大缩短了整个模型的训练时间。基于屏蔽权值的选择，精度也有所提高。目前学术界有两种方式:形象层面和壮举层面。当然是基于补丁的。

目前，生成任务存在两大问题。第一个问题是在现实世界中生成任务依赖于现实世界建模，建模需要包括知识分布在内的先验知识。第二个问题是真实世界的数据计算量太大，我们很难承受。GAN模型可以有效避免这两个问题。它还有两个模型——生成模型和判别模型。模型生成根据训练任务生成相关数据，判别模型主要判别生成模型结果的真实性。两种模式是一个博弈过程。但是，甘也有一个劣势——训练难度大。培训过程中很难有效学习，发电机容易死机，学习困难。一旦发生器崩溃，鉴别器也会降级。

我们来看看基于图像生成技术路线的无监督应用。例如图像修复领域。它们是原始图像、图像的破坏以及根据无监督图像修复技术生成的结果。

借用上下文信息来填充原始图像中缺失的像素。传统做法的核心思想是复制粘贴。通过图像中的相似像素搜索对应的图像，或者基于百万级数据库搜索对应的图像，补充对应的缺失处。这种搜索方式不仅耗时，而且效率和性能也值得怀疑，有很大的改进空间。

无监督技术在这个领域有很大的优势。基于无监督对应生成网络结构，生成各种图像对应的原始图像。它的输入也是原始图像，它的输出也是基于原始图像的相同分辨率。而这种无监督的技术，使得提取的特征在全局特征、局部特征和空之间更加合理，修复后的细节更加细腻逼真。目前，无监督图像生成技术广泛应用于图像修复。

比较研究也是一个热门方向。因为无监督学习是无标签的信息，所以有各种各样的学习方法，包括聚类、降维等。它是通过比较来学习数据的有效特征，重点是实现相同实例的共同特征，区分不同实例之间的差异。任务和目标函数是比较学习和强监督学习的主要区别。无监督学习主要是通过代理任务来解决强监督带来的损失问题。无监督学习和生成学习最大的区别在于，前几种方法更注重例子的繁琐细节，而比较学习更注重高维特征。因此，该模型的架构设计简单，易于优化，通用性强。

除了前面生成技术路线的方法，流动模型和扩散模型是目前最流行的或者说是发展趋势。流量模型由一系列可逆模型构建而成，整个网络结构是可逆的，这是它与以往模型的本质区别。当然，这种可逆性需要人工设计，设计出来的函数也是可逆的，所以成本是显而易见的——你得找一个可逆的函数，这个可逆的函数必须是可逆的，灵活的，有强大的表示，这是流动模型的特点。这里解释一下可逆模型与其他模型的主要区别:它需要学习数据分布，相当于寻找A和b之间的通道，目前在相应的无监督图像生成领域有很大的潜力，可以使生成的图像更加真实细腻。

扩散模型。扩散的本质是模型迭代的过程，属于图像生成领域的技术应用。我们也可以看到，整个网络结构从左到右是可逆的，但是它有两个分支，一个是退化，一个是恢复，但是整个过程有一个特点，就是必须用固定的方式学习。与GAN、VAE和基于流的发电模型相比，扩散模型在性能上有较好的折衷。最近，已经证明它在图像生成方面有很大的潜力，特别是当它与一些技术相结合时，它既具有保真度又具有多样性。

接下来简单介绍一下无监督领域的应用，以及无监督学习在我们公司的具体应用。首先，技术必须服务于实际应用，我们重点关注的智慧城市领域已经积累了大量的数据，这些都是没有标注的。虽然有些数据团队在做标注，但是数据采集速度远远快于数据应用速度，存在数据瓶颈。其次，目前的商业应用主要集中在强监督学习的具体应用上，而无监督的应用落地范围相对较小，主要集中在正样本的获取上，我们也在通过大量正样本的积累不断夯实无监督的应用基础。

从人工智能的产业应用生态架构来看，主要包括智能应用层，主要包括数据资源管理、计算基础设施和AI模型制作。以基础层为基石，围绕相应的关键技术构建应用系统，最终服务于城市的公共事业，为企业和客户提供应用层的部分服务。这是整个生态的应用框架。

我们公司主要专注于智慧城市。许多客户仍然希望我们提供集成的解决方案。但需要构建以基础设施为前提，以数据共享为中心，以人工智能技术为支撑的一体化解决方案平台。这是一套智慧城市综合管理的全闭环应用流程。人工智能技术框架是围绕城市交通管理和公共安全的管理需求侧构建的，基础设施中心是前提。以数据共享中心为基础，搭建从自动识别、数据共享、自动立案、自动调度、自动核查、自动结案、数字化效能评估的智能化全闭环应用系统，打通执法端，从发现到执法，从处置到结案，执行效率提升90%以上。

目前，无监督学习在智慧城市中有哪些应用？我们主要专注于城市交通、生态环境监测、智慧校园中的行为分析，以及医疗领域和园区企业的资产管理。我们也积累了大量的数据，包括出行、日常生活、交通、公共安全等。，都是没有标注的。如果大量的人力花在数据标注上，会浪费人力、资源和时间。无人监管应运而生。它没有依赖负样本，同时基于数据中心，不断积累数据，夯实了无监督的应用基础。

以下是我们基于海量数据共享完成的一些优秀应用，包括室内通道异常应用、消防通道异常检测、交通道路异常事件甚至交通事故、行人轨迹异常检测等。通过这样的无监督技术应用，有效打破了海量数据带来的资源壁垒，为城市综合管理的技术应用提供了除强监督外的无监督技术应用流程，高效、有效、适用、实用。

目前无监督技术正在蓬勃发展，其应用范围也在不断扩大。就像元宇宙加速的浪潮一样，数据应用多元化的趋势是必然的。未来，无监督技术将成为打破数据瓶颈的应用技术。