原标题:图像分类任务中的损失
来源:AI 研习社 链接:https://www.yanxishe.com/TextTranslation/2181
图像分类是机器学习中的一项重要任务。这项任务有很多比赛。良好的体系结构和增强技术都是必不可少的,但适当的损失函数现在也是至关重要的。
例如,在kaggle蛋白质分类挑战赛中,几乎所有的顶级团队都使用不同的损失来训练他们的卷积神经网络。
在这篇文章中,我们将会讨论不同的损失函数的适用情况。
Focal loss
如果数据集中有一个稀少的类,那么它对摘要损失的影响很小。为了解决这个问题,作者的文章https://arxiv.org/abs/1708.02002建议应用额外的比例因子来降低模型十分确定样本的损失。硬挖掘正在激发一个分类器来关注最困难的情况,这些情况是我们稀有类的样本。
gamma控制简单情况下的降低。如果离1很近且模型不确定的,则Focal损失是一个标准的softmax损失函数。
Center loss
Softmax 损耗只鼓励标签的分离,并没有考虑特征值的鉴别能力。如https://arxiv.org/abs/1707.07391一篇文章中所述,存在所谓的中心损失方法。除了 CE 损耗外,中心损耗还包括从样本到样本类中心的距离。
Ls 表示 Softmax 损失,Lc 表示中心损耗。λ是一个缩放因子。
这两种方法的结果:
Contrastive center loss
中心损失只增强了类内紧凑性,不考虑类间可分离性。此外,中心损失仅涉及单个类内的距离,则存在类中心被固定化的风险。为了消除这些缺点,建议对类之间的小距离进行处罚。
Ring loss
与直接学习质心不同,该机制具有少量参数。在‘Ring loss’文章中,作者证明了,当特征向量范数相同时,角边距最大。因此,激励样本在特征空间中具有相同的范数,我们:
1、更好地提升分类性能。
2、应用原有归一化技术。
在二维空间中可视化特征,我们可以看到圆环。
ArcFace loss
softmax的损失函数形式是:
与Ring Loss一样,ArcFace loss的作者也对下面的等式进行进一步的探索。
它们还将特征的矢量规范化为 1,并将特征样本的规范缩放为尺度 s。现在,我们的预测仅取决于特征矢量和权重矢量之间的角度。
为了增加类内的进制程度,提高类间的区分性,对theta Yi的cosine进行最大化的惩罚损失。
为了进行比较,让我们看一下上面的图片!2D 空间中有 8 个标识。每个标识都有自己的颜色。点表示样本,线条表示每个个体的中心方向。我们看到个体点离其中心很近,并且远离其他个体。此外,每个中心之间的角距离相等。这些事实证明作者的方法是有效的。
SphereFace 和CosFace损失
这些损失非常接近 ArcFace。在 SphereFace 中,不使用执行附加边界,而是使用乘法因子:
或 CosFace 依赖于cosine边界
LGM loss
https://arxiv.org/pdf/1803.02988文章的作者依靠贝叶斯定理来解决分类任务。引入 LGM 损失作为分类和可能性损失的总和。Lambda 是一个真正的值,扮演缩放因子的角色。
分类损失通常被表述为交叉熵损损失,但这里概率被后分布所取代:
分类部分起鉴别作用。但文章中还有一个可能的部分:
这一项要求用适当的均值和协方差矩阵从正态分布中采样x_i。
在图中可以看到二维空间的正态分布
------------------------------------------------
发起:Pita 校对:鸢尾 审核:唐里
参与翻译(3人):天字一号、Zinuo、invictus maneo
英文原文:Losses in image classification task
一THE END一
免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。
合作及投稿邮箱:E-mail:editor@tusaishared.com