原标题：微软发布新AI：能生成图像描述，还能回答场景相关问题

来源：今日头条         链接：https://www.toutiao.com/a6745670533221712388/

近日，微软研究人员开发了一种AI系统，通过模仿人类增进对世界了解的方式来训练图像-文本对。

Unified VLP ：“一群人撑着伞站在雨中。”Question ：“他们穿的都一样吗”？Unified VLP : “是的。”

众所周知，没有详细的随附注释，机器很难理解场景和语言。

但是标记通常耗时久、成本高，且最好的标记也只能传达对场景的理解，不能传达对语言的理解。

为了解决该问题，微软开发了此系统。

研究人员表示，单模型编码器/解码器视觉语言预训练（VLP）模型既可以生成图像描述，又可以回答有关场景的自然语言问题，为将来可能达到人类同等水平奠定了基础。

GitHub上提供了使用三百万个图像-文本对进行预训练的模型。

GitHub：https://github.com/LuoweiZhou/VLP

“对周围世界的感知是我们从小就开始学习的一种技能……我们与身体环境的互动越多……就越能理解和使用语言来解释存在的事物”微软高级研究员Hamid Palangi在博客中写道。

“另一方面，对于机器而言，场景理解和语言理解非常具有挑战性，特别是在弱监督的情况下，本质上来说，能够被间接学习的人很好地利用。”

正如Palangi及其同事所解释的那样，图像字幕和视觉问答质量算法通常表现不佳，原因如下：

（1）无法利用上下文描述图像并进行推理；

（2）没有利用大规模的训练数据进行预训练；

（3）架构在设计语言，视觉对齐和语言生成任务时表现不佳。

该团队对包含编码器（学习给定数据的数字表示形式）和解码器（将编码器的表示形式转换为人类可解释的信息）的架构进行了预训练，并针对两种预测进行了优化。

研究人员表示，该架构最终创建了更好地对齐的编码器和解码器表示形式，使他们可以用相同的模型来实现不同的目标，如图像字幕和视觉问题回答。

上图：关于COCO和VQA 2.0的定性示例。

图片来源：Microsoft

研究人员评估了VLP在公开基准（包括COCO，Flickr30K和VQA 2.0）上对图片进行说明和推理的能力。

研究人员表示，VLP不仅在几个图像标题和视觉问题回答指标方面优于最新模型，而且还设法回答了与先前模型有关的图像问题（例如与服装设计相似的图像），而之前只接受过语言训练的模型很难回答这些问题。

“通过智能模型设计和智能数据选择，我们可以利用现有的公共资源，在语言和场景理解方面达到更高的水平，VLP就是证明，” Palangi写道。

“通过VLP，我们展示了统一模型在语言和场景理解水平的潜力，这是成功完成各种不同的下游任务所必需的——单个模型在不牺牲性能的情况下高效地完成多个任务。

这意味着更有效，更强大的视觉语言系统，无需花费多个单独训练的模型来达到相同的目标。”

在未来的工作中，该团队将强化模型的架构，同时在预训练期间添加更多数据。

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com