原标题：ALBERT 与ELECTRA，小排量的大飞机

原文来自：CSDN      原文链接：https://blog.csdn.net/u013741019/article/details/102883553

前言

随着BERT的横空出世，目前越来越多优秀的预训练语言模型涌现出来，学习的步伐跟不上发展的速度。
BERT 刚出来时，感觉，可预期的时间内，只要预训练目标任务足够好，相信效果会有更进一步提升。

预训练语言模型

近期两篇

下面分享最新的学术界两篇论文，他们有共同点：对比于BERT参数量少了一个量级，但是效果却反而提升了

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

1.ELECTRA

摘要（原文）

虽然像BERT这样的MASK语言建模(MLM)预训练方法在下游的NLP任务上产生了很好的结果，但是它们需要大量的计算才能有效。这些方法通过用[MASK]替换一些Token来破坏输入，然后训练一个模型来重构Token。作为一种替代方案，我们提出了一种更具效率的预训练，称为Replaced token detection(RTD)判断当前词是否被替换了。我们的方法不是屏蔽输入，而是用从小型GAN中提取的plausible alternatives sampled替换一些输入Token，从而破坏输入。然后，我们不是训练一个模型来预测[MASK]，而是训练一个判别模型来[MASK]输入中的每个Token是否被生成器样本替换。实验表明，这种预训练模型更有效，因为它从所有的输入中学习，而不是仅仅从[MASK]中。结果，在相同的模型大小、数据和计算条件下，通过我们的方法学习的上下文表示大大优于通过BERT和XLNet等方法学习的上下文表示。例如，我们在一个GPU上训练一个模型4天，该模型在GLUE自然语言理解基准上的性能优于GPT(使用30倍以上的计算进行训练)。我们的方法在规模上也很有效，我们使用不到1/4的计算，就可以达到RoBERTa的性能。

• 14M参数就能达到RoBERTa 的效果，训练语料更少，速度更快

• 33M参数在GLUE很多任务上超过RoBERT和ALBERT,GLUE 榜单上还没有，所以很多比较结果不全

• 尚未开源，斯坦福的个性，coming soon

1.1GAN的引入

GAN在CV中大火，但是在NLP中却一直差点意思，效果不是很突出。这篇文章一个突出贡献就是将GAN引入到预训练语言模型中，并且取得了SOTA（state of the art）的效果。

Replaced Token Detection（RTD）

1.1.1Generator 生成器

通过对MASK后的句子生成样本，这里使用的是MLM（maximum likelihood）,而不是使用的 Adversarially。因为NLP和CV的差异性

1.1.2Discriminator 判别器

通过序列标注的方法，判断当前词是否是原文（original，replaced）

• GAN生成的都是假的，但是该文的G会生成真实样本（部分词汇真实）

• 梯度不能从D传到G，所以该文使用强化学习的方法来训练G

1.2权重共享

• 正常情况下，Generator 和Discriminator 使用相同的大小，但是 实验表明，Generator 更小效果会好点。

• Generator 和Discriminator 只是对于 token embeddings 进行共享，如果将所有权重共享效果反而会差点。

1.3Smaller Generators

• 实验表明，Generator的大小为 Discriminator 1/4~1/2效果最好，作者假设，Generator太大会给Discriminator 造成困扰。

1.4Training Algorithms

• 将Generator 和Discriminator 进行联合训练

• Train only the generator with MLM for n steps.
  开始只训练通过MLM去训练Generator

• Initialize the weights of the discriminator with the weights of the generator. Then train the discriminator with Disc for n steps, keeping the generator’s weights frozen.
  然后用Generator 的参数去初始化 Discriminator，通过Disc  去训练Discriminator 同时冻结 Generator 的参数

1.5 contrastive learning（对比学习）

• 通过对比学习方法来区分虚构的负样本与正样本

• 本文算是 contrastive learning 与GANs的一种结合

2.ALBERT

Other

参考

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
XLNet: Generalized Autoregressive Pretraining for Language Understanding
T5:Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com