机器学习三大类别监督学习、无监督学习和强化学习,半监督学习是监督学习和无监督学习的特例。所谓监督学习,指的是给定完整标签,让模型从数据和标签中学习关系;而所谓无监督学习则是不给标签,让模型从数据中学习它本身的结构。
半监督学习结合了监督学习和无监督学习方法,能在有标签但标签不完整的数据中使用机器学习算法。半监督学习利用带标签的数据与无标签的数据共同完善训练效果。
PS:目前,利用未标记示例的主流学习技术主要有三大类,即半监督学习(semi-supervisedlearning)、直推学习(transductive learning)和主动学习(active learning)
为什么半监督学习有效?
【译文】伪标签学习导论 - 一种半监督学习方法【译文】伪标签学习导论 - 一种半监督学习方法半监督学习可以分为直推学习和归纳学习
半监督学习生成伪标签的经典具体算法
一文概览能生成代理标签的半监督学习算法, 具体分为自训练算法,多视角训练算法和Self-ensembling方法:1.Self-training
2.Multi-view training3.Self-ensembling
(与Multi-task tri-training很像,都是通过多个独立的模型达到更好的效果,已经在计算机视觉上取得了state-of-the-art的成果。)4.相关工具和领域
Distillation
Learning from weak supervision
Learning with noisy labels
Data augmentation
Ensembling a single model
Ladder networks(让模型对噪声更具鲁棒性)
Virtual Adversarial Training(指出无需标签,模型也能生成对抗样本,这就为它在半监督学习领域的使用打开了渠道。能在模型最敏感的方向生成扰动,从而提高它的鲁棒性。目前,这种方法已经在文本分类数据集上取得了令人满意的结果。)
Π model(2017年提出的一种新型伪标签提升方法。)
Temporal Ensembling(Temporal Ensembling和Π model来自同一篇论文,不同的是后者关注的是数据增强和正则化,而前者关心的是模型在不同迭代期的表现集成。它背后的思想是:因为单独训练模型代价过大,我们可以利用不同的时间步长来集成模型预测。)
Mean Teacher(它先把模型参数的移动平均值放进Teache模型中,然后对于每个样本,它再生成代理标签 tilde{z} ,最后计算整体的一致性损失和监督损失(supervised loss)。)
Co-training(协同训练)
Democratic Co-learning (民主协同训练)
Tri-training(三体训练法,周志华2005年,目前知名度最高的算法,与相同训练的不同的关键点:bootstrap采样)
Tri-training with disagreement (带分歧的三体训练,在词性标注达到很好的效果)
Asymmetric tri-training (三体训练法在计算机视觉上的扩展)论文笔记
Multi-task tri-training (缓解三体训练训练独立模型的效率问题,引入迁移训练)