图像语义标注格式（图像语义特征提取）

偏标记学习是一个非常典型的弱监管学习问题，每一个练习示例都和一组候选标记密切相关，在其中只有一个标记为真。

大部分目前的方式，都假定每一个练习示例的候选标记是由真正标记和任意选定的有误的标记构成的。殊不知，这类如果是脱离实际的，由于候选标记一直依靠示例的。

今天 AI Drive，东南大学电子信息科学与工程学校硕士研究生-乔聪玉，讲解其精英团队发布于 NeurIPS 2021 的全新工作中：示例依靠的偏标记学习。

在此项探究中，她们考虑到了示例依靠的偏标记学习，并假定每一个示例都和每一个标记的潜在性标记遍布密切相关，在其中标记遍布意味着了每一个标记叙述特性的水平。叙述水平越高的有误标记更有可能被注解为候选标记。因而，潜在性标记遍布是一部分标记示例中不可或缺的标记信息，非常值得用以预测模型练习。

文中将关键分成下列 5 个一部分开展详细介绍：

·Introduction

·Related work

·Proposed Method

·Experiment

·Conclusion

在其中，第一部分（Introduction）详细介绍偏标记学习界定、科学研究示例依靠的偏标记学习的原因，及其在其中应用到的别的方法。

第二一部分（Related work），简略详细介绍现阶段在偏标记行业常用到的主要方式（包含五种传统式优化算法、近些年盛行的根据深层学习优化算法在偏标记行业内的运用）。

第三一部分（Proposed Method）部分，是大家明确提出优化算法的一部分，这里会详解相关的优化算法关键点。

最终两一部分（Experiments 及其 Conclusion）详细介绍试验結果和结果。

1 偏标记学习

传统式监管学习架构在模型时选用强监管的假定。即目标的类型标记信息是单一、确立的。传统式监管学习架构已经获得了巨大成就。

特别注意的是，强监管假定尽管为学习模型的全过程保证了便捷，但则是对真实的世界问题的一种简单化解决的方法，在很多情形下，并不创立。

事实上会受环境因素问题特点、物理学資源等各层面要素的牵制，学习系统软件通常只有从训练样本中获得比较有限的标记信息及弱监管信息。怎样在弱监管信息标准下合理开展学习模型，已经变成设备学习行业分析的热点话题。

在偏标记学习的架构下，每一个目标可另外得到好几个词义标记，但在其中仅有一个标记体现目标的真正词义，该方式的学习情景在实际问题中普遍存有。

例如，在诊疗确诊中，医师尽管可以清除患者身患某种病症的概率，却无法从多个病症类似的病症中给与诊断。在网络运用中，客户可以随意为各种各样线上目标给予标明，但在目标得到的好几个标明中，很有可能仅有一个是合理的。

再举例说明，大家可以从图象附设文章标题文字内，获得图片中每个角色名字做为词义标记，但针对图象中特定人物、面部来讲，他与每个词义标记及其实际角色的名字对应关系却并没有明确。以上2个事例全是偏标记的运用的情景。

简单点来说，在网络运用中，客户可以随意为各种各样线上目标给予标明，但在目标得到的好几个标明中，很有可能仅有一个是合理的。

下列是其流于形式表述之一。如下图，在偏标记训练集内，每一个例子 x 相匹配一个候选结合 s，真正标记掩藏在候选结合中。最后的学习总体目标是获得，能将示例x投射到真正标记 y 支持向量机（用 f 表明）。

在大家精英团队工作中以前，优化算法偏标记的产生全过程全是如此造成：除真正标记外，别的候选标记全是通过随机抽取出去的。

这也是一种十分质朴的假定，这类假定常见来从非偏标记的数据手动式形成偏标记数据。例如手写数字数据 MNIST，针对手写数字 1，根据优化算法任意取 2 和 5 做为偏标记数据信息的阳性标记，和 1 一同做为候选标记结合。

再举例说明，CIFAR10 数据信息汇集的一张飞机照片，假如手动式取猫、路，和飞机三者构成的照片做为候选标记结合。那麼这类假定显而易见不科学。

例如考虑到三个平常人标记数据，针对高挑数据1来讲，标明时在双眼昏沉的情形下，是更易于把照片中高挑的数据标明成它的候选标注成1的候选集，而不是宽敞的数据。由于1的特点之一便是高挑，因此还有很有可能把写的高挑的 6、7 标明成候选集，不大可能把写的宽敞的 6、7 标明为 1。

针对飞机来讲，更有可能把环境看起来像蓝天白云或图象中有点像羽翼的总体目标标明成飞机，而不大可能把道路上运送的货车标明为飞机，这也是基本常识。

这也表明真在真正情景下，偏标记结合以眼睛视力依赖性为特点，而不是任意选取来的。眼睛视力依赖性的偏标记，也更为切合实际偏标记的产生全过程，因此对于其设计的优化算法也更为好用。

因此文中讲解的工作任务便是，明确提出示例依赖感的偏标记学习，并且为其设计方案相对应优化算法。最终在 benchmark 数据（也有 minist、fashion minist Kuzushiji minist， CIFAR10 数据）、UCI 数据集、真正情景的偏标记数据,这三大数据集上认证文中明确提出优化算法的实效性。

这里引进一个理念——标记遍布 Label Distribution。近些年，软标记的方式较为时兴。例如 label smoothing、水蒸气蒸馏等方式。较早明确提出软标记学习的就是我的老师耿新教师明确提出的标记遍布 Label Distribution。

标明是标记多义性问题，是设备学习行业的受欢迎方位之一。

在目前的设备学习方式中，关键出现二种数据标注方法：一是一个示例分派一个标记，二是一个示例分配好几个标记。单标记学习（Single Label Learning），假定训练集内全部示例全是用第一种方法标记。多标记学习（Multiple Label Learning），容许练习示例用第二种方法标记，因此多标记学习可以解决的示例属于好几个类型的多义性状况。但总得来说，不论是单标记学习或是多标记学习，都只在回应一个最实质的问题——什么标记可以叙述实际例子？但却也没有立即回应此外更深处的问题——每一个标记怎样叙述该示例？或每一个标记对该示例的相应必要性水平怎样？针对现实世界中的很多问题，不一样标记的关键水平通常不一致。

例如，一幅当然情景图象被标记了天上、水、山林和云等好几个标记，而这种标记实际表述该图象的水平却各有不同。

再例如，在面部文本分析中，人的脸部情绪经常是多种多样基本感情，例如开心、忧伤、诧异、恼怒、厌烦、害怕等基本情感。而那些基本感情会在实际的小表情中表示出不一样抗压强度。进而展现出复杂多变的感情。相近的事例也有许多。

一般情形下，一旦一个例子与好几个标记与此同时有关，这种标记对该例子不容易正好都一样关键，会出现次序依次之分。

针对相近以上事例的运用，有一种很肯定的方式。针对一个示例x，将实数 d_xy（如下图）授予每一个很有可能的标记，y 叙述 x 的水平。这就是一个标记遍布。

殊不知实践活动中，一般标明全是以 0、1 逻辑符号数据信息去标明。其表述是或否的逻辑顺序，因此对一个示例来讲，全部标记逻辑值，组成的逻辑性空间向量被称作逻辑性标记。例如常用的 one-hot 空间向量，这也是对问题的简单化方法之一。

即便如此，数据信息中的监管信息，实质上是遵循某类标记遍布的。例如鸟是有羽翼的，因此能飞。那显而易见它有可能会被标明为 bird 或 airplane，而不大可能被标明为 frog。因此针对二者来讲，对鸟图片的叙述水平是不一样的。

可是现在的工作任务也是必须从逻辑性标记（例如 one-hot），转换为置信度、叙述度问题。这一流程就属于标记提高全过程，简单点来说，标记提高便是将训练样本中的初始逻辑性标记转换为标记遍布的全过程。

针对示例依靠的偏标记学习来讲，怎样叙述偏标记结合中，原素相互关系？实际上是运用标记遍布，根据标记提高的方式，修复在其中潜在性的标记遍布。或是刚才的事例，针对数据 1，它的候选结合可能是 3 或 6，但这二者中，是3对1的叙述度提高？或是 6 对 1 的叙述度提高？1 对 3 和 1 对 6 哪个相关性更高一些？对飞机来讲，到底是鸟标记对飞机的叙述度更高一些，或是货车的叙述度更高一些？飞机跟鸟更有关，或是跟货车更有关？

例如以上这类信息的发掘，必须依靠标记提高，增强逻辑性标记的叙述度和关联性，这就是标记遍布。

2 偏标记学习行业有关工作中

偏标记优化算法从判断力上而言，可以把错误的标记找出去，学习、应用优化算法时将其清除，这一环节被称作消歧。

针对消歧的对策，分成二种，一是根据识别的消歧，二是均值消歧。

在识别消歧中，真正标记被当做隐变量，并以梯度下降法的方法渐渐被鉴别出去。在均值消歧对策中，全部候选标记全是被同等对待的，最后的预测分析，源自于实体模型最终輸出的均值。

目前大部分优化算法，都根据融合普遍应用设备学习技术性与偏标记数据信息相符合，进行学习每日任务。例如观查每一个一部分标记练习示例的概率，界定在其候选标记集在，而不是不明的 ground -truth 标记。K 近邻技术性还可以处理偏标记问题，其利用在类似示例的候选标记中网络投票来明确不由此可见示例的类型。

针对较大界限的技术性，根据区别后验标记和非后验标记的模型輸出，界定了偏标记示例的权重值及备选标记的置信度。传统式人工神经网络算法中也有标记提高技术性应用。每一个偏标记的练习示例的权重值，及其后验标记的置信度，在每场提高后都是会升级。

下面详细介绍深度神经网络方式在偏标记行业中的运用。

最先最初的是 D2CNN，D2CNN 是利用为图象数据信息设计方案2个特殊的互联网，再不断进步偏标记。这以后有一篇文章介为偏标记学习设计了普遍适用的算法架构。这也是大家试验室一位学姐的文章内容，她提到了具备一致性的风险性估测和渐近的鉴别算法，其算法可以兼容随意深层实体模型和任意优化器。

这篇文章宣布启动了深度神经网络在偏标记行业的运用。接着湖南大学的冯磊专家教授，明确提出了 RC、CC 这二种算法。分别是风险性一致和支持向量机一致的方式。可是她们所指出的这种算法，全是假定偏标记是随机生成，例如 RC 和 CC，全是假定形成 uniform 的全过程，最后的算法也是根据推论出的。

PRODEN 算法在试验时，除开真正标记，别的每一个偏标记都授予一个伯努利几率 p，针对非真正标记，也是有一定的几率被旋转成真正标记。

3 此次分析的新方式

下面详细介绍大家的算法，全部算法步骤并不繁杂。下面的图流于形式的表述之一。

下列是算法实体模型框架图，有利于更强的了解全部算法步骤。实体模型分成上、下双层。顶层是辅助互联网。最终必须使用可能出的标记分布，去监管下一层互联网，下边互联网是支持向量机，也就是总体目标互联网。

例如，一张图片，最先会进到 low level 层，推论标记分布。在其中必须使用许多信息内容，例如被提取的特点、邻接矩阵等。benchmark 数据内是没这一邻接矩阵的，因此必须最先要提取特点。由于 cifar10 是初始图象数据信息，立即做模型，便是邻接矩阵立即形成得话，毫无疑问不确切的。

例如，卷积神经网络实际效果为什么这样好，由于其有一定的頻率不变。那麼针对 cifar10，就要做特点提取，随后用 resnet32 互联网扣除，提取出去后，运用伺服电机和视频解码器，便是一个 VGAE 伺服电机。与之前的方式 不一样的取决于大家根据伺服电机参数化设计的 Dirichlet，从 Dirichlet 分布中得到值 D。大家以为这就是一个标记分布。

下一层的互联网也不会太难，例如 high level，可以选用 MLP、感知机，做为汇聚随后輸出，得到最后的結果。上边提高出去的 Label Distribution 标记分布，就作为下一层互联网的监管信息内容，使最后得到的結果更强。

顶层互联网，可以觉得是持续发掘潜在性标记分布的全过程。

以上所指出的算法是端到端的学习过程。

实体模型练习分成这几个环节：

第一阶段，是实体模型的加热环节，在提及要提取特点，先前就必须加热一下。这时用的是 minimal loss。判断力上讲损失函数值最少的标记，很有可能便是真正标记。针对提取出的特点，用 KNN 做邻接矩阵。K 的值是超参。

第二阶段，是标记提高的环节。VALEN 算法在宣传语提高环节，总体目标是推测已经知道逻辑性标记邻接矩阵特点的标准后验— p(D)。可是要是想立即精准测算p(D)不是太实际的，因此这时要运用一些方法。例如大家用 q(D) 去估计 p(D)， q(D) 是用 Dirichlet 做为模型。

针对前边实体模型伺服电机輸出的 α，就做为 Dirichlet 的主要参数。取样后，采下来的也是必须的标记分布。

为了更好地更强汇聚拓扑关系，可以选用图卷积神经网络。

下列是贝叶斯算法变分推断方法，实际的可以参照大家毕业论文的填补原材料。与毕业论文结合在一起，掌握详尽的计算全过程。

在文中也不进行详细介绍了，但也是以那里测算演变回来的。

此外，针对标记分布 D，则必须给其再加上限定标准。针对下列的互联网輸出，可以觉得是一种置信度。前文的试验（例如 PRODEN），也相对应证实了互联网輸出对真正标记的置信度可能是较大。因此提高后的标记分布，不可以间距置信度很远。简单点来说，不可以偏移置信度。

与此同时，针对偏标记备选结合以外的标记，我觉得其置信度为零。这是一个较为直接的假定。例如上文提及的，鸟与飞机场关联性相对性较强。在标明的情况下，很有可能就只标明为飞机场和鸟，针对别的（例如 frog）类型的置信度就为零。由于这种类型相关性太低。

最终，会详细介绍为什么选用迪利克雷分布。

由于狄利克雷分布从形象化上看来，分布取样获得的值与标记分布的值很类似。其实际标准也是一样的。由于标记分布的标准之一便是 ∑ 为 1，根据迪利克雷取样得到的值便是相近的方式。次之，迪利克雷分布属于类型分布，类别分布可以做为真正标记分布。因此可以选用 Dirichlet 分布表明，去发掘潜在性的标记分布。

最终在建模的练习环节，下面的图为损失函数，大家使用的是交叉熵 log 值，再再加上权重值。这一权重值便是标记分布，根据以上函数公式持续练习，得到好的实际效果。

4 试验結果

试验一部分，最先是针对数据问题，怎样形成示例依赖型的偏标记数据信息？实际上也是用洁净的标记去练习互联网，针对互联网导出的值，每一个輸出的值大家觉得就是这个示例在这个标记上的置信度，每一个标记相匹配的置信度与除开真正标记外较大的置信度相除，再用绝大多数的算式整体规划一下，那麼就可以得到每一个标记被旋转出去的几率。即 one-hot 中的 0 的标记有一定概率被旋转变成 1。那样就可以得到示例依赖的偏标记数据了。

其后面的思想意识是把神经元网络当做一个评分者，例如我还在这一标记上做错事的几率多少钱？它就会有对应的有可能被旋转回来变成 1。Benchmark datasets 和 UCI datasets 全是通过以上流程形成。

针对真正情景下的偏标记数据信息，是来源于多方各面的行业，有些人脸、目标检测、乃至也有声频层面、都是有牵涉到。

针对下面的图的 BirdSong、Soccer Player、Yahoo news，这三个信息的标记训练集的数量是非常庞大的。

在示例依赖型的数据上，大家的方式比别的好多个深层的方式 都需要高许多。在 uniform 数据信息。

针对随机抽取一些随机生成的偏标记全过程中，大家的办法也是相比的，平均值大部分全是最大的（除开在 MNIST 上）。

MNIST 数据略微有点儿落伍，和 UCI 数据一样。

比照于传统的方式，由于大数据库的图片数据信息层面比较大。因此传统式方式 并不太适用。但针对小数据信息，大家也将传统的数据信息提升进去，传统式方式在小数据上得到的作用也是有效的。一些传统式方式的体现也是有效的，如下图。在真正情景下，一些传统式方式解决小数据信息级得到的功效显著好于大家的算法。

上文提到的算法很有可能更合适解决规模性数据，可是大家算法与深层方式对比，或是好于深层方式。

5 汇总

大家最首要的奉献，取决于初次明确提出示例依赖的偏标记的学习培训架构。

重要方法，便是分成2个互联网，一个是协助互联网，另一个是关键的目的互联网。协助互联网根据梯度下降法的方法，去修复潜在性的标记分布。随后运用这一标记分布，在每一个时期练习预测模型。针对以后的工作中，大家会去再次研究别的更快的方式去学习示例依赖的偏标记学习培训。