原标题：NLP 2019 回顾

来源：AI 研习社          链接：https://www.yanxishe.com/TextTranslation/2340

2019年是自然语言处理领域令人印象深刻的一年。在这篇博文中，我想强调一些与机器学习和NLP相关的最重要的故事，这些故事是我在2019年遇到的。我将主要关注NLP，但我也将重点介绍一些与人工智能相关的有趣故事。标题没有特别的顺序。故事可能包括出版物、工程工作、年度报告、教育资源的发布等。

注意！这是一篇很长的文章，所以在你开始阅读之前，如果你想把文章分成几个部分来阅读，我建议你把它标上书签。我还发布了这篇文章的PDF版本，你可以在文章的末尾找到它。

出版物

Google AI引入了ALBERT，它是BERT的一个精简版本，用于上下文语言表示的自监督学习。主要的改进是减少冗余和更有效地分配模型的容量。该方法提高了12个NLP任务的最新性能。

今年早些时候，NVIDIA的研究人员发表了一篇很受欢迎的论文（coined StyleGAN），提出了一个替代的GANs生成器架构，该架构是从样式转换中获得的。下面是一个后续工作，重点是改进，例如重新设计生成器规范化过程。

  上面一行显示目标图像，下面一行显示合成图像

今年我最喜欢的论文之一是code2seq，它是一种从代码的结构化表示中生成自然语言序列的方法。这样的研究可以让位于自动代码摘要和文档等应用程序。

有没有想过是否可以为生物医学文本挖掘训练生物医学语言模型？答案是BioBERT，它是一种从生物医学文献中提取重要信息的上下文方法。

在BERT发布之后，Facebook的研究人员发布了RoBERTa，它引入了新的优化方法来改进BERT，并在各种NLP基准上产生了最新的结果。

Facebook人工智能的研究人员最近还发布了一种基于全注意力层的方法，用于提高Transformer语言模型的效率。这个研究小组的更多工作包括教人工智能系统如何使用自然语言进行规划的方法。

全部-注意力网络层框架——来源

在机器学习和NLP中，可解释性一直是一个重要的课题。这篇论文提供了一个关于可解释性、分类和未来研究机会的全面综述。

Sebastian Ruder发表了他关于自然语言处理的论文在 Neural Transfer Learning。

一组研究人员开发了一种，在对话环境下进行情感识别的方法，为更好的进行情感对话铺平了道路。另一项相关工作涉及一种名为DialogueGCN的GNN方法，来检测对话中的情绪。本论文还提供了代码实现。

谷歌AI量子小组在《自然》杂志上发表了一篇论文，声称他们已经开发出一种比世界上最大的超级计算机还要快的量子计算机。阅读更多关于他们的实验。

如前所述，我们需要尽可能地提升可解释性，这是神经网络架构的其中一个领域。本文还讨论了，在语言建模中，注意力机制作为一种可靠的可解释性方法的局限性。

神经逻辑机是一种既能进行归纳学习又能进行逻辑推理的神经网络结构。该模型在排序数组和寻找最短路径等任务中，表现得非常出色。

神经逻辑机框架--图源

这篇论文将Transformer语言模型用于文档摘要的抽象和提取。

研究人员开发了一种新方法，聚焦于通过比较来构建和训练ML模型。应用该方法不再需要大量的标注数据，只需将图像与之前见过的图像进行比较，从而确定图像的标签。

Nelson Liu等人在文章中讨论了BERT和ELMo等预训练语言模型所捕获的语言知识究竟是什么。

XLNet是一种NLP预训练语言模型，在20个任务上取得由于BERT的效果。我在此专门写了一篇文章介绍这项工作。

DeepMind的这项工作对适用于各种任务的语言理解模型进行了评估，并给出具有广泛意义的调查结果。该分析对于更好地理解语言模型捕获的内容，提高模型效率是非常重要的。

VisualBERT是一个简单而强大的框架，可以对视觉和语言任务（例如VQA、Flickr30K等）进行建模。这种方法通过一系列带有自注意力的Transformer层来匹配文本和图像中的元素。

这项工作依据NLP的实践指导对各种NLP转移学习方法进行了详细的比较分析。

Alex Wang和Kyunghyun用BERT实现了高质量、流畅的生成任务，并在该Colab Notebook提供了实践版本。

Facebook研究人员发布了跨语言预训练模型——XLM的代码（PyTorch版本）。

这项工作对强化学习算法在神经机器翻译中的应用进行了全面的分析。

在JAIR上发表的这份综述对跨语言单词嵌入模型的训练，评估和使用进行了全面概述。

The Gradient在该文章中详细介绍了当前强化学习的局限性，同时展望了分层强化学习的这一发展方向。与此同时，一套关于学习强化学习的优质教程在此发布。

这篇文章对上下文词表示进行了简要介绍。

ML / NLP的创造力与社会应用

机器学习已被用来解决一些现实世界中的问题，同时它还有一些更加有趣、更具创造力的应用。机器学习的创造力同人工智能的其他研究领域一样重要，因为最终我们希望构建的是，能够帮助我们丰富文化、推动社会发展的人工智能系统。

2019年年底，Gary Marcus和Yoshua Bengio就深度学习、符号AI以及混合AI系统等概念交换了意见。

最终发布了2019年AI指数报告，该报告对当前AI的发展进行了全面的分析，可以用来更好地了解AI的总体进展。

常识推理依然是AI领域的研究要点，因为我们想要构建人工智能系统不仅要能依据提供的数据做出预测，而且需要理解并能够推理做出决策。这项技术可用于对话式AI，在这样的场景下，智能体能够与人进行更自然的对话。你可以通过Nasrin Mostafazadeh的访谈来了解有关常识推理及其应用，例如用于讲故事和语言理解等。你还可以阅读最近的这篇文章学习如何利用语言模型进行常识推理。

Activation Atlases是Google和Open AI的研究人员开发的一种新技术，通过该技术能够可视化神经网络神经元之间的相互作用，以更好的了解神经网络。

“ InceptionV1视觉分类网络的activation atlas显示了该网络实现的功能，

例如电子设备、建筑物、食物、动物的耳朵、植物和水等的分类。”——图源

在这里观看Geoffrey Hinton和Yann LeCun（在FCRC 2019）发表的Turing演讲，他们与Yoshua Bengio共同获得的今年的图灵奖。

这篇文章介绍通过机器学习应对气候变化。

OpenAI发布的这份报告探讨了语言模型的社会影响，涉及技术的合理使用以及滥用等话题。

情感分析依然被广泛应用于各项研究。Mojifier是一个很酷的项目，可以观看人物图片，检测情感，然后用与检测到的情感匹配的emojis替换人脸。

利用人工智能技术进行放射学的工作在今年也很流行。这篇文章总结了该研究领域中趋势和观点。纽约大学的研究人员开源了Pytorch实现的深度神经网络，使用该网络可辅助放射线医师对乳腺癌的检测。这是MIMIC-CXR数据集，该数据集包含胸部X射线及相应的放射性报告。

《纽约时报》写了一篇文章纪念Karen Spark Jones在NLP和信息抽取领域所做的开创性贡献。

OpenAI Five成为第一个在电竞游戏中击败世界冠军的AI系统。

全球AI人才报告提供了有关全球AI人才库和AI人才需求的详细报告。

你订阅DeepMind团队的播客了吗？在这里，你可以讨论与AI有关的最前沿、最引人关注的话题。关于AI的潜力，Demis Hassabis在接受《经济学人》的采访时谈到了一些未来的想法，例如将AI作为人类思维的扩展，以找到一些重大科学问题的解决方案。

今年还见证了ML在医疗健康领域的惊人发展。例如，马萨诸塞州的研究人员开发了一套AI系统，该系统能够像人类一样准确的发现脑出血。

                                  "AI系统用于脑成像分析"

Janelle Shane介绍了一组“新奇”的实验，这些实验显示了如何创造性应用机器学习来进行有趣的实验。有时，通过这些实验是能够真正了解AI系统实际上在做什么以及不做什么 ， 比如通过神经网络生成假蛇闭或者是将笑话的实现。

                                             蛇的种类

通过TensorFlow实现寻找行星的机器学习模型。

OpenAI讨论了那些大规模无监督语言模型（包括潜在的恶意用例）的意义。

本Colab notebook介绍了如何使用Nucleus和TensorFlow进行“ DNA序列错误校正”。这篇文章介绍了应用深度学习架构探索DNA。

Alexander Rush是哈佛大学的NLP研究员，他写了一篇文章探讨张量以及当前的某些库如何阐述它们。进一步，他还讨论了关于带有命名索引的张量的提议。

ML/NLP 工具集和数据集

这一部分我会介绍一些有助于NLP和ML学术研究与工程应用的工具与数据集。

Hugging Face团队基于Pytorch开源了一款非常受欢迎的Transformer库——pytorch-transformers。这使NLP从业人员和研究人员可以轻松使用最新的通用体系结构，例如BERT，GPT-2和XLM等。如果您想了解如何使用pytorch-transformers，我推荐你去阅读Roberto Silveira的详细教程，相信该教程可以帮助你使用Transformer库。

新发布的TensorFlow 2.0包含许多新功能，你可以在此阅读Tensorflow2.0的更多相关实例。此外，FrançoisChollet在该Colab notebook中对这些新功能做了更详细的描述。

新发布的PyTorch 1.3版本也有许多新功能，包括命名张量和其他一些前端的改进。

艾伦AI研究院发布了Iconary——一个可以与人类玩虚构类游戏（你画我猜）的AI系统。这项工作结合了视觉/语言学习系统和常识推理，同时，他们还发布了一个新的常识推理基准，也就是Abductive-NLI。

spaCy发布了一个新库——spacy-transformers，通过融合Transformer语言模型，提高了特征提取功能，并将其用于各项spaCy NLP任务中。 这项工作建立在Hugging Face开发的Transformers库的基础上，Maximilien Roberti还写了一篇很好的文章，介绍如何将fast.ai代码与pytorch-transformers结合使用。

Facebook AI团队发布了PHYRE——物理现象推理的基准，旨在通过解决各种物理难题来测试AI系统对物理规则的理解能力。

StanfordNLP发布了0.2.0版本，这是一个用于自然语言分析的Python库。依赖该库，你可以对70多种语言执行不同类型的语言分析任务，例如去词性化和语音识别（部分语言支持）。

GQA是一个视觉问答数据集，用于进行与视觉推理相关的研究。

exBERT是一个用于探索Transformer语言模型的嵌入和注意力的可视化交互式工具。原始论文和demo见此处。

exBERT — 图源

Distill发表了一篇关于如何可视化循环神经网络（RNN）记忆的文章。

你可以将公式拍照，通过Mathpix工具将公式直接转换为Latex格式。

Parl.ai是一个托管许多对话和会谈数据集的平台。

Uber研究人员发布了Ludwig，该工具的设计思想是在训练和测试模型时尽可能少得编码，因此通过该工具用户仅用几行代码即可轻松训练和测试深度学习模型。

Google AI研究人员发布了Natural Questions，一个用于训练和评估开放域问答系统的大规模语料库。

文章与博客

可以发现，今年数据科学作家和爱好者呈爆炸式增长。这为所有人提供了更广阔的讨论和学习机会，十分利于领域的发展。在这里，我列出了一些有趣且必看的文章和博客：

Christian Perone详细介绍了最大似然估计（MLE）和最大后验（MAP），这是了解如何估计模型参数的重要原理。

Reiichiro Nakano在博文中讨论了利用强对抗性的分类器进行神经风格迁移任务，同时还提供了Colab notebook。

Saif M. Mohammad撰写了一系列精彩的文章分析了历年的ACL选集。

“图表分别显示了研究者的平均年龄，中位年龄，以及历年会议中首次发表论文的学者占总人数的百分比。”——图源

对于“语言模型是否可以学习语法”这个问题，这项工作通过使用结构探针，表明语言模型可以使用上下文表示法和一种查找树结构的方法来实现此目的。

Andrej Karpathy在博客中总结了有效训练神经网络的技巧和实践操作。

Google AI研究人员和其他研究人员合作，使用BERT模型改善搜索引擎的结果。主要原理就是利用BERT这样的上下文法辅助理解搜索查询背后的意图。

RAdam是一种改进的Adam优化方法，可帮助改善AI架构。尽管已经有一些其他更好、更稳定的优化器，但RAdam的作者声称，为提升模型的拟合能力，关于优化的其他方面（不只包括稳定性等）的研究也需要予以足够的重视。

随着近来机器学习工具的大量涌现，如何应用机器学习系统解决实际问题的讨论受到管饭关注。Chip Huyen对机器学习系统的设计做了详细介绍，尤其是关于超参数调整和数据管道的内容。

NVIDIA通过数十亿个参数训练的语言模型成为世界上最大的语言模型。

Abigail See在该博客介绍了在对话系统中应用自然语言生成任务进行高质量的对话。

Google AI发布了两个自然语言对话数据集，以通过更复杂和更自然的对话数据集训练提升语音助手等对话应用程序的功能。

深度强化学习仍然是AI领域最受关注的话题之一，甚至还引起了心理学和神经科学领域的关注。你可以阅读发表在《认知科学趋势》上的这篇文章了解更多信息。

Samira Abner在这篇博客中总结了Transformer、胶囊网络及其联合的主要构建模块。Adam Kosiorek在这篇文章介绍了堆叠的胶囊网络自动编码器（胶囊网络的无监督版本），并将其应用于物体检测。

研究人员在Distill上发表了一篇可互动文章，旨在对高斯过程进行可视化探索。

Augustus Odena在Distill发表文章中呼吁研究人员解决GAN的几个重要的开放性问题。

这是图卷积网络（GCN）的PyTorch实现，用于分辨对垃圾邮件和非垃圾邮件。

2019年年初，VentureBeat发布了由Rumman Chowdury，Hilary Mason，Andrew Ng和Yan LeCun等学者对2019年的预测清单，现在可以来验证看看他们的预测是否正确。

通过这篇文章可以学习优化BERT来执行多标签文本分类。

BERT受到研究人员的广泛关注，为构建更快、更小且内存效率更高的版本，过去的几个月众多研究人员提出一些方法来”压缩“BERT。Mitchell A. Gordon对这些压缩类型和方法进行了总结。

超级智能仍然是专家们热论的话题。研究该主题需要正确理解框架，策略以及细致的观察。我发现了这一系列有趣的文章（由K. Eric Drexler以技术报告形式发布），这些文章可以帮助你理解超级智能的一些问题和要点。

Eric Jang在博客中介绍了元学习的概念，通过该方法来构建和训练机器学习模型，这些模型不仅能用于预测任务，而且具有一定的学习能力。

Sebastian Ruder在该博文中对AAAI 2019进行总结。

图神经网络今年受到了广泛的关注。David Mack在该文章介绍了他们如何应用图神经网络和注意力机制计算最短路径。

贝叶斯方法仍然是一个引人注意的主题，尤其是如何将它们应用于神经网络，以避免过度拟合之类的问题。Kumar Shridhar在文章中详细列出了这一系列工作。

“以点估计为权重的网络V.S.以概率分布为权重的网络”-图源

AI的伦理道德

伦理问题或许是今年人工智能领域讨论最多的问题之一，包括偏见，公平和透明等方面的讨论。在本节中，我提供了一些有关该主题的有趣见解和论文：

论文“Does mitigating ML’s impact disparity require treatment disparity?”讨论了在真实数据集上使用不同学习过程进行实验的结果。

HuggingFace发表的文章讨论了在若干开源NLP技术用于对话AI的背景下的道德规范。

随着我们持续应用AI技术服务社会，量化AI研究中的道德伦理成为一项重要的工作。这篇文章对一些具体措施和“前沿AI技术，机器学习和机器人研究中道德相关的应用”进行了广泛的分析。

NAACL 2019上发表的这项工作讨论了去偏方法是如何避免词嵌入中的性别偏见。

Zachary Lipton的论文“Troubling Trends in ML Scholarship”也值得一看。关于这篇论文，我在此写了一篇论文摘要。

Gary Marcus和Ernest Davis出版书籍《重启人工智能：构建我们可以信赖的人工智能》。本书讨论了实现强人工智能必须采取的步骤。关于AI的进一步发展，FrançoisChollet也写了一篇令人印象深刻的论文，为更好地智力衡量提供了依据。

你还观看Andrew Trask开设的有关差异化隐私，联合学习和加密AI等主题的Udacity课程。关于隐私，Emma Bluemke写了一篇文章讨论如何在保护患者隐私的同时如何训练机器学习模型。

在2019年年初，Mariya Yao发布了一份关于AI伦理的研究的论文清单。尽管该论文清单是2018年的成果，但我相信直到今天这些文章依然具有参考意义。

ML/NLP教育

这一部分我将列出一系列教育资源——有的博客专家或者团体做了一些出色的工作来帮助学习者理解ML / NLP的一些概念：

CMU发布了“ NLP神经网络”课程的资料和提纲。

Elvis Saravia和Soujanya Poria发布了一个名为NLP-Overview的项目，该项目旨在帮助学生和从业人员对当今应用于NLP领域的深度学习技术有全面的了解，包括理论，算法，应用程序和最新成果等。——GitHub链接

NLP Overview  

Microsoft研究院发布了有关数据科学基础的免费电子书，从Markov Chain Monte Carlo到Random Graphs都有涉及。

“机器学习中的数学”是一本免费的电子书，介绍了机器学习中最重要的数学概念，同时还提供了一些有关机器学习的Jupyter实例教程。此外，Jean Gallier和Jocelyn Quaintance也撰写了免费电子书，介绍机器学习涉及的数学知识（超多内容，近两千页Orz）。

斯坦福大学发布“自然语言理解”视频教程。

关于学习，OpenAI汇总了有关如何持续学习和提高机器学习技能的大量建议。显然，他们的员工每天都按照这些方法来不断学习和扩展知识。

Adrian Rosebrock发布了长达81页的指南，介绍如何使用Python和OpenCV进行计算机视觉。

Emily M. Bender和Alex Lascarides出版了书籍“NLP的语言基础”。 本书的主要内容是通过语义和语用学知识为探究NLP领域中的“含义”提供一些思路。

Elad Hazan就“机器学习的优化”上发表了他的演讲笔记，旨在将机器学习的训练过程表示为数学公式及符号的优化问题。Deeplearning.ai也发表了一篇文章，通过直观的、可交互的方式介绍了神经网络中的参数优化。

Andreas Mueller发布了“应用机器学习”视频教程。

Fast.ai发布了题为“深度学习基础”的新MOOC课程。

MIT发布了“深度学习入门”的所有视频和课程提纲。

Chip Huyen在推特上发布了一系列优质的免费课程，以帮助初学者入门机器学习。

Andrew Trask出版了新书“ Grokking深度学习”，对于想要了解神经网络体系结构基本组件的人来说该书是很好的入门教程。

Sebastian Raschka通过80份jupyter notebook介绍了如何实现不同的深度学习模型，如RNN和CNN。更棒的是，所有模型都分别提供了PyTorch和TensorFlow版本。

本教程深入解析TensorFlow的工作原理。另外一篇是介绍Pytorch的，由Christian Perone撰写。

Fast.ai发布了“ NLP简介”的课程及播放地址。从情感分析到主题建模再到Transformer该课程均有介绍。

Xavier Bresson在演讲中介绍了用于分子生成的图卷积神经网络，幻灯片下载地址见此。另外这篇论文讨论了如何预训练图神经网络。

对于图网络，一些工研究人员使用它们来预测分子和晶体的特性。Google AI团队还发表了一篇博客介绍他们如何使用GNN进行气味预测。如果您对图神经网络感兴趣，这里是各种GNN及其应用的全面概述。

约翰·霍普金斯大学的Rene Vidal发布了一系列有关无监督学习（例如PCA）的视频。

如果您想将预训练的TensorFlow模型转换为PyTorch，可以参考Thomas Wolf的这篇博文。

如果你想了解生成型深度学习，推荐阅读David Foster写的这本书，该书介绍了如何应用GANs和编码器/解码器模型进行绘画，写作和音乐创作等任务。这里是本书实例的官方Github地址，不过是用TensorFlow实现的。如果你使用的是Pytorch，可以参考此Github地址。

该Colab notebook提供了实践代码，还可以用来学习干预措施，反事实等因果推理概念。

这里是Sebastian Ruder，Matthew Peters，Swabha Swayamdipta和Thomas Wolf提供的NAACL 2019“自然语言处理中的转移学习”的相关资料，他们还提供了Google Colab notebook供学习者参考。

Jay Alammar在一篇十分值得阅读的博客中介绍了数据表示，此外他还写了其他许多有趣的插图教程，包括GPT-2和BERT的图解。Peter Bloem在博客中详细解释了构建Transformer的所有要素。

基础自注意力的可视化实例——图源

Mihail Eric在该博文中对ACL 2019中NLP的发展趋势做了全面概述，博客内容包括在NLP体系结构中考虑知识的融合、可解释性和减少偏差等。如果您对此感兴趣，还可以阅读其他一些概述：链接2和链接3。

斯坦福大学发布了CS231n 2019版的完整课程大纲。

David Abel对ICLR 2019和NeurIPS 2019进行了概括，并发表了自己的总结摘要。

对深度学习学习者而言，《dive into deep learning》是一本值得参考的教材，同时还提供了notebooks实例配套学习。

这是关于Bert、ELMo以及其他一些预训练语言模型的图解指南。

Fast.ai发布了2019版的“面向程序员的实用深度学习”课程。

Pieter Abbeel等人讲授的这门有趣的课程可以带你深入了解无监督学习。

Gilbert Strang出版了一本关于线性代数和神经网络的新书。

加州理工学院提供了“机器学习基础”课程完整的教学大纲，讲义幻灯片和教学视频。

“Scipy讲义”能够教你掌握matplotlib，NumPy和SciPy等常用工具。

这是帮助你理解高斯过程的优质教程，同时还提供notebooks。

接下来是一篇必读的文章，Lilian Weng深入探讨了ULMFit、OpenAI GPT-2和BERT等通用语言模型。 

Papers with Code网站包含一些优质的带有开源代码或者是SOTA的机器学习论文。

Christoph Molnar出版了《可解释性机器学习》第一版，该书介绍一些用于解释机器学习算法的关键技术。

David Bamman发布了其在贝克利大学开设的自然语言处理课程的完整课程大纲。

伯克利发布了“ Applied NLP”课程的所有材料。

Aerin Kim是Microsoft的高级研究工程师，撰写有关应用数学和深度学习的博客，包括条件独立性，伽玛分布，困惑等。

Tai-Danae Bradley在此博客讨论了关于矩阵和张量的思考。文章通过一些直观明了的图示进行介绍，可以很好的帮助读者理解在矩阵上的转换和操作。

恭喜你看到这里，希望本文的一些总结对你有一些帮助。祝各位读者老爷2020年变强的同时依然有一头秀发！！！

由于假期的原因，我没有太多时间对文章进行校对，欢迎各位读者对本文提供任何反馈或更正！

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com