摘 要：

面向多源增量数据，新一代大数据智能剖析力争建立具有自主学习能力的模型和算法。
因此，本体裁系地研究基于多源增量数据学习的理论与方法，环绕基于繁芜多模态数据的稳健学习和基于动态蜕变数据的可适增量学习两个关键科学问题展开研究；利用多模态学习技能、持续学习技能、深度学习技能、图表示学习技能和优化理论等技能，研究在统一框架下的多源增量学习；针对基于繁芜多模态数据的稳健学习研究不屈衡场景下的多模态学习、关联缺失落场景下的多模态学习，以及基于动态蜕变数据的可适增量学习，研究种别动态变革场景下的开放集识别、数据分布变革场景下的灾害性遗忘减缓。
同时，将上述研究内容用于办理真实媒体多模态数据、增量数据的分类和聚类等问题。
干系研究在大数据的繁芜数据表示、增量自适应学习等方向取得初步进展，方法和技能上取得创新，且对干系运用有实用代价。

关键词：

多模态学习；多标记学习；增量学习；开放集识别；灾害性遗忘；深度学习

弁言

随着互联网和信息技能的发展，在各行业中积累了海量的数据。
例如 2018 年微信逐日发送信息 450亿次，新浪微博日生动用户 2 亿，微博*** / 直播日均发布量为 150 万；2019 年京东“618”开场 1 小时下单金额 50 亿元；中国 3 万家综合性医院，每年新增数据量可达 20 Zbit。
由此，如何有效进行各行各业大数据的挖掘并加以利用，受到了各国政府的重视，也备受企业和学术界的关注。
大数据技能经由几年的发展，取得了可喜进展。
然而，现实繁芜动态环境下大数据常日呈现多源增量性，即繁芜样本可通过多源信息（即多模态信息）加以描述，同时根据韶光信息以增量形式网络大数据。
经典大数据的 4V 特点表现为规模海量（volume）、表示多样（variety）、天生快速（velocity）及代价密度低（value）。
而这些特点也正好对应多源增量大数据的多源繁芜表示和分布动态蜕变两个根本问题，给新一代大数据智能剖析中的数据表示、模型构建带来了极大寻衅，个中紧张包括数据多源繁芜表示导致的表征学习问题，以及数据分布蜕变导致的模型构建问题。

详细地，数据表示是指对现实运用中事宜或工具的形式化或符号化描述，便于机器仿照人去理解数据本身的构造和信息。
因而，有效的数据表示是大数据智能剖析的先决条件。
繁芜工具的数据表示常日可以通过多源信息加以描述，即多模态表示。
传统的多模态表示学习常利用模态间的关联信息通过子空间学习或统一表示学习得到各模态的高阶语义表示，进而有效进行后续的表示领悟、分类和聚类等任务。
然而，真实运用中数据是动态变革的，再考虑噪声滋扰、网络毛病等成分，多源数据多呈现弱关联（包括关联噪声、关联缺失落）这一繁芜问题，造成多源大数据的关联模糊、信息有差异，难以有效领悟各通道信息，进而导致现有多源数据表示的不稳定。

除了多源数据表示存在的不稳定问题，稳健的模型构建也是大数据剖析的主要环节。
传统的模型构建常日针对静态数据进行建模，即假设可网络服从整体分布的演习数据。
然而，真实运用中数据呈现增量性，具有样本和标记分布蜕变（样本分布变革、数据种别增减）寻衅，造成模型无法有效刻画动态蜕变的大数据，进而导致现有针对增量大数据的模型构建不稳定问题。

现有的大数据智能剖析方法重点关注稳定条件下的剖析和性能、效率提升，关注动态环境下大数据的多源繁芜性、增量蜕变性所导致的不稳定性的研究较少，从而给新一代人工智能中的大数据智能带来了一系列寻衅，以是亟需研究具有自主能力的自适应学习模型和算法。
为此，面向开放环境下大数据的自主学习是人工智能领域的关键技能，从大数据的特点切入，研究提出：① 基于繁芜多模态数据的稳健学习；② 基于动态蜕变数据的可适增量学习，以应对开放环境中大数据存在的“表示异构”“天生快速”“代价密度低”等寻衅，使基于多源动态数据的自组织、自学习研究能够契合开放环境，具有主要的理论意义和运用代价。

1 基于繁芜多模态数据的稳健学习

开放环境下，繁芜多模态数据面临两大寻衅——模态表示有强弱及关联标记弱监督，导致无法精准建模并易造成模型偏差。
传统的模型大多针对可靠、干净的多模态数据建模，忽略了开放环境下受滋扰的多模态数据表示、标记信息。
为此，提出了基于自适应度量的多模态领悟模型以自适应度量模态强弱，从而进行稳健的领悟学习；另一方面提出了基于鲁棒同等性的多模态交互学习框架以处理无关联数据、噪声关联数据，从而进行稳健的多模态学习。

1.1 基于自适应度量的多模态领悟模型

在多模态数据中，不同模态特色表示不屈衡存在强弱之分，常日强模态包含更有判别力的信息，因此须要动态度量模态的强弱关系，打消模态预测不一致滋扰。
以往方法采取把稳力网络打算强弱模态的权重信息，我们进一步地引入模态间干系性进行权重度量学习，从独立的权重学习过渡到交互性度量。
此外将传统的多模态数据扩展到异构图构造中，对图构造中强弱不一致的多模态异构节点进行表示学习，构建基于自适应度量、多层次构造化约束的多模态异构图神经网络领悟模型（HM2）。

HM2 模型（见图1）首先对异构图中的目标节点经由邻居采样获取节点序列并按种别分类，接着对同种种别下的节点凑集基于自把稳力机制进行聚合学习，并均匀池化得到统一模态表征，形式为

式中，Nt(i) 为节点i隔壁种别模态 t 的节点凑集；

为该模态节点的统一特色表示；qkl为节点k在l层的特色；

为l层中节点k、j 间经由把稳力头h打算得到的把稳力权重；

为权重参数，在权重打算中引入异构节点间的连接类型pk,j和连接信息和atk,j；Ψ为权重映射函数；|| 表示向量拼接；⊙表示向量标量乘法。
末了自适应领悟多模态特色得到目标节点的终极表示，形式为

式中，

为目标节点i的终极表示；T为模态凑集；βj为模态j的权重；LeakyReLU 为非线性激活函数；

为目标节点特色，终极表示由目标节点的原始节点特色和隔壁模态特色拼接后经由加权领悟得到。

图1 HM2 模型

我们在企业估值真实多模态分类数据集上进行实验，该数据集为公司和职员两种类型模态节点组成的异构图，实验任务是预测公司节点的估值等级标签，实验结果如表1所示。
本文分别利用10%、30%、50%和70%的数据作为演习集，将HM2与传统机器学习算法、同构图神经网络算法和异构图神经网络算法进行比较。
实验结果表明，利用图神经网络可以利用节点间的关联构造信息得到比传统机器学习算法更精良的性能，HM2的性能优于其他基于把稳力机制的图模型，由于HM2考虑到了异构隔壁和异构边，并且利用了更加高效的多头聚合把稳力机制，使得异构隔壁和连接的领悟更加有效；从整体上来看，HM2在所有实验指标上均取得了最好的效果，在公司估值任务中准确度提升 5% 以上，解释其可以从异构节点或边中学习与公司估值问题有关的信息。

表 1 公司估值等级预测结果

进一步地，我们剖析了在节点聚合过程中把稳力对估值的影响如图 2 所示，图中线条粗细表示权重，从整体上看公司节点模态对估值预测更有决定浸染，此外同种类型的不同节点受节点特色和边属性的浸染呈现出不同的把稳力大小。

图2 把稳力可视化

1.2 针对弱监督多模态数据研究的交互学习框架

传统多模态算法基于模态间关系对齐假设进行多模态信息领悟，然而在开放环境下存在模态信息的关联不明确问题，即关联缺失落问题，表现为数量不等且对应关系不明确的多示例多模态数据。
为办理繁芜工具多模态关系不明确导致的不合问题，我们单独为每个模态建立独立的深度网络，通过包消歧操作得到各模态包级别的同等预测进行多标记分类，此外利用最优传输理论度量标记空间的凑集信息，基于此提出了一种新颖的多模态多示例多标记深度网络（M3DN）。

M3DN 的模型框架如图 3 所示。
在原始文章中存在关联缺失落的多模态多示例数据可以分为文本和图片数量不同的示例包，不同模态的示例经由各自的深度网络打算单示例表示得到

和

，得到包内所有示例的特色表示后，M3DN 利用包消歧层打算包内各示例的标记预测，考虑标记间的干系性，利用最优传输理论定义丢失函数为

式中，Pv 为模态 v 的传输矩阵；M 为共享的代价矩阵；

和 yi 分别表示第 i 个示例包的预测和真实标记；λ1 为平衡系数；r(S,S0) 是凸正则化项，个中 S 为标记相似度矩阵、S0 为先验知识初始化矩阵；S+ 表示半正定矩阵凑集，利用该丢失函数交替更新预测器和代价矩阵优化模型。

图 3 M3DN 模型框架

我们在真实繁芜文章分类场景WKG Game-Hub数据集上进行实验，该数据集每篇文章包含数目不等、对应关系缺失落图片和文本段，实验结果如表 2所示，M3DN 能够在不同指标上得到最佳的结果，验证了 M3DN 能够有效办理异构多模态数据的繁芜表示问题及分类问题。
此外，在 WKG Game-Hub 数据集上选取了4个结果样例，如图4所示，从预测的结果可以清楚地创造 M3DN 能够有效捕获模态示例和标记之间的关联。

表2 M3DN 在繁芜数据集 WKG Game-Hub 上实验结果

图4 WKG Game-Hub中图片 - 标记 - 文本对应关系样例

2 基于动态蜕变数据的可适增量学习

开放环境下的动态蜕变数据紧张面临新类别的开放集识别，以及模型增量更新过程中的灾害性遗忘两大寻衅。
传统的模型大多基于静态环境下（同分布、缓更新）的数据建模，忽略了开放环境下动态蜕变数据带来的不愿定性。
为此，研究提出了基于递进自步学习的开放集识别方法以自适应学习样本紧致表征，进而提升模型的开放凑集识别能力；另一方面，研究提出基于费希尔信息矩阵的自扩展深度模型用于增量更新，在担保模型分类精准度的同时，有效阻挡模型对历史知识的遗忘。

2.1 基于递进自步学习的开放集识别

类增量学习 (CIL) 的目的是利用未知类流数据演习出可靠的模型，紧张的寻衅是新类检测。
为提升模型在开放集上对新类别的检测能力，提出了基于动态零样本学习及递进自步学习的开放集检测方法（CILF），以便在统一的框架中处理新类检测问题。
CILF 将实例样本输入特色嵌入网络，利用解耦神经网络模型学习有识别力的样本紧凑表征用于新类检测。
此外，CILF 采取了一种可学习的课程聚类算子，其目的是通过课程学习从大略可区分到困难的实例进行聚类，详细如下所述。

特色网络学习 我们开拓了一种基于原型丢失的解耦深度嵌入网络，以改进类间和类内构造。
对付给定的输入xi，输出特色表示为f(xi)。
丢失定义为

式中，Lintra 为了将同类数据拉近；Linter 为了将不同类数据拉远；λ是平衡参数。
详细地，Lintra通过每个实例与其原型间的类中央间隔打算得到，表示为

式中， 是xi被归为yc的概率；μc表示第c类的原型，共C个种别；α是掌握间隔强度的超参数；|πc|是第c类的数量，通过最大化xi与原型

的干系概率使丢失最小化。
原型更新的关键思想是缓慢地退火集群，以肃清每个小批处理中的偏差实例，因此我们通过韶光凑集来平滑退火过程更新原型

式中，β是掌握凑集的动量项；e表示初始演习的第e批次。

Linter用于改进全局类间间隔使实例的投影在间隔度量上更加健壮，详细形式为

式中，

是三元组凑集；C是种别数；xp为与当前实例同类别的正样本；

是来自不同类的负样本，共 C-1 个，实例之间的间隔利用欧几里得间隔度量。

新类检测 为实现繁芜场景中的新类检测问题，即测试集中包含已知类和新类，二者之间的原型存在偏差，我们采取了一种可学习的课程聚类算子，通过课程学习从大略可区分到困难的实例对测试集进行聚类，利用新的聚类原型完成已知类分类和新类检测。
详细地，对付未标记的实例凑集

，将实例按照难度从易到难进行排序，在测试时对特色嵌入网络进行微调并检测新类原型，定义步调函数如下

式中，v表示初始步骤中数据所占的比例；δ为每一步中增加抽取小批量大小的指数因子；ϕ为每一步的迭代次数；l为批量下标；N为实例数。
利用采样小批次 {B1,B2,…,BL}，对f进行由易到难的微调，丢失函数可以扩展为

式中，λ1、λ2为权重系数；R约束已知类的更新原型靠近于已演习的原型，可以正则化已知类的嵌入；

为测试阶段所有种别数；

为第 l 批中样本 j 被分为c 类的伪标签，通过聚类得到；

为第 l 批的三元组凑集，包含当前样本 j、正样本 p 和负样本 nc。
在聚类时，通过打算簇效度指数（CVI）改变未知类的数量来考验得到的簇，打算如下 :

式中，a(x) 是x到同一集群中所有其他实例之间的均匀间隔；b(x) 是x到任何其他不同集群中所有实例之间的最小均匀间隔 , 最优种别数是具有最大曲率的 CVI拐点。

本文在MNIST、CIFAR-10、CIFAR-50、CIFAR-100上进行实验，将CILF与新类检测方法进行比拟，类分类和新类检测的性能如表3所示。
从表中创造除了CIFAR-50上的AUROC外，在所有测试中，CILF 始终优于其他比拟方法，进一步解释了课程聚类算子检测的有效性。

表 3 已知类分类和新类检测性能

2.2 基于费希尔信息矩阵的自扩展深度模型

现有的增量学习深度模型常日利用固定构造和在线反向传播进行模型优化，然而这些方法难以运用于增量数据场景，对付流数据构建深度增量模型存在战胜灾害性遗忘的寻衅，为此提出了一种基于费希尔信息矩阵的自扩展深度模型（IADM），通过为隐层搭建额外的把稳力模型实现模型的可扩展，利用费希尔矩阵防止遗忘结果。

IADM 示意图如图 5 所示。
为适应增量数据设置中不同网络深度适应于不同的实例数，综合考虑浅层网络快速收敛和深层网络学习能力强的特点，IADM 为隐层设计把稳力网络并加权领悟预测，旨在于在初始网络建立阶段利用浅层网络的快速收敛能力，并挖掘深度网络在增量场景下的学习能力。
实际运用中，在学习新事物过程中为缓解灾害性遗忘以使模型具备可持续学习的能力，本文引入费希尔信息矩阵，定义如下

式中，θ表示模型学习的条件似然分布；

为实例域；pθ (y | x) 为预测值；Fθ可以看作梯度协方差矩阵的期望丢失。
假设

是模型在θ和

的条件似然之间的 KL 散度，当

时，可以创造 KL 散度的二阶泰勒近似可以写成

，相称于黎曼流形中的打算间隔。
对付神经网络来说，

，并且dθ常日为数百万，因此实际上不可能存储Fθ。
为了处理这一问题，假设参数相互独立（仅利用 Fθ 的对角参数），得到如下近似丢失

个中，Lt (f(x),y) 为增量阶段 t 的丢失；fl (x) 为在l层隐层的预测；αl 为把稳力权重；

是 θ 在t阶段的第i个入口；是末了阶段的最佳参数；λ 为权衡参数。
值得把稳的是，费希尔正则化将使主要参数（Fθ值较大者）保持在前一阶段的学习参数附近。

图 5 IADM

我们研究了观点突变的设定，即实例的分布在过渡阶段 Xt 内不会发生剧烈变革，但在不同阶段之间会发生。
例如，当关注在线信息流时，用户的兴趣不会在短韶光内发生变革，但是当有爆炸性信息涌现时就会发生巨大变革。
此外，纵然在更繁芜的情形下，也可以采取漂移检测算法将数据流分割为批次，担保底层分布的平滑性。
因此利用费希尔信息矩阵正则化每个阶段的条件似然分布用于度量遗忘程度。
直不雅观地说，Fθ有助于网络学习参数，以便同时考虑新的和以前的分布。

在增量设置下，网络构造随着把稳力机制的变革而变革，即不同层次的网络权值不同。
同样在序列阶段，费希尔信息矩阵的不同部分具有不同的主要性。
因此，为了递增地匹配各个阶段演习的神经网络的后验分布，我们将把稳力权值嵌入到费希尔正则化的相应参数中，自适应正则化可以表示为

式中，

；⊙表示将费希尔信息矩阵中对应层的αt,l 参数相乘，这种连续的均匀会减少前几个阶段的影响。
综上所述，模型的终极丢失函数可以表示为

我们在合成数据集 Hyperplane，构建的增量图像数据集 MNIST、CIFAR10，真实天下行为动作识别数据集 UCF101 上进行实验，实验中原始干净数据为第一阶段，通过添加噪声为数据集配置后续增量阶段。
图 6 为 在 MNIST（见图（A））和CIFAR10（见图（B））上实验时的隐层网络权重变革，每行从左到右为数据增量下的分类网络权重图，条形图内从左往右网络逐渐加深，从结果可以看出，在初始阶段最大权重位于浅分类器，后续阶段深层分类器逐渐得到更多的把稳力。
图 7 为演习精度的变革结果。
经由剖析可知，IADM 在所有数据集上表现稳定，在不同阶段的过渡中，IADM 精度不会迅速低落，表明引入费希尔正则化项可以有效防止遗忘。

图 7 演习精度变革结果

3 结束语

本文紧张面向真实繁芜开放动态环境中的多源增量数据展开干系研究，环绕基于繁芜多模态数据的稳健学习、基于动态蜕变数据的可适增量学习两个关键科学问题建立多源增量学习范式。
包括研究多模态稳健学习中的不屈衡场景下的多模态学习、关联缺失落场景下的多模态学习，以及可适增量学习中的种别动态变革场景下的开放集识别、数据分布变革场景下的灾害性遗忘减缓。
力争构建面向多源增量数据的自主学习框架；同时，将上述研究内容用于办理真实媒体多模态数据、增量数据的分类、聚类等问题。

（参考文献略）

选自《中国人工智能学会通讯》

2022年第12卷第5期

青托专栏