原标题：“越大越好”的心态可能会损害人工智能研究  

来源：今日头条        链接：https://www.toutiao.com/a6767124862210146830/

您会听到很多东西，那就是计算资源的可用性不断提高为人工智能的重要进步铺平了道路。通过访问强大的云计算平台，人工智能研究人员已经能够在较短的时间内训练更大的神经网络。这使AI能够在计算机视觉，语音识别和自然语言处理等许多领域取得进展。

但是，您听到的更少的是当前AI研究方向的更深层含义。当前，人工智能的进步主要与扩展深度学习模型以及创建具有更多层和参数的神经网络有关。根据人工智能研究实验室OpenAI的说法，“自2012年以来，最大规模的AI培训运行中使用的计算量呈指数增长。这项要求对AI研究施加了严格的限制，并且还可能产生其他不太令人愉快的影响。

OpenAI的研究人员指出：“在许多当前领域中，更多的计算似乎可以预期地导致更好的性能，并且通常是对算法进步的补充。”我们可以在许多项目中看到这种效果，研究人员得出的结论是，他们的进步归功于将更多的计算投入到问题上。

2018年6月，OpenAI推出了可以在专业水平上玩《 Dota 2》（一种复杂的战斗竞技场游戏）的AI。该机器人被称为OpenAI Five，它参加了一场大型的电子竞技比赛，但在决赛中输给了人类玩家。该研究实验室今年返回了OpenAI五号的改进版本，并能够从人类手中夺得冠军。AI研究人员所说的秘诀是：“与周六在2018年国际邀请赛上的失利相比，OpenAI Five的胜利是一个重大变化：训练计算量增加了8倍。”

还有许多其他这样的示例，其中计算资源的增加带来了更好的结果。在强化学习中尤其如此，强化学习是AI研究的最热门领域之一。

训练大型AI模型的财务成本

当前AI状态最直接的含义是训练人工智能模型的财务成本。根据OpenAI在其网站上发布的图表，培训DeepMind历史悠久的围棋AI AlphaGoZero花费了1800 petaflop / s天。

训练AI模型的计算成本

FLOP是浮点运算。每秒petaflop（pfs-day）大约相当于每天1020次操作。专门用于AI任务的Google TPU v3处理器执行420 teraflops（或0.42 petaflops）的操作，每小时收费2.40-8.00美元。这意味着训练AlphaGoZero模型将花费大约246800-822800美元。那只是计算成本。

该领域的其他显著成就也付出了类似的代价。例如，根据DeepMind发布的数据，其玩星际争霸的AI由18个特工组成。每个AI代理都接受了16天Google TPU v3的培训，为期14天。这意味着，以当前的价格计算，该公司为18个AI代理商花费了约774000美元。

人工智能研究的商业化

人工智能研究的计算要求严重限制了谁可以进入该领域。

位于英国颇受欢迎的AI实验室DeepMind的成功归功于其母公司Google的巨大资源。Google在2014年以6.5亿美元收购了DeepMind，为其提供了急需的财务和技术支持。根据向英国公司注册处提交的文件显示，今年早些时候，DeepMind在2018年蒙受5.7亿美元的亏损，高于2017年的3.41亿美元。DeepMind还欠今年10.4亿英镑的债务，其中包括8.83亿英镑的债务。从Alphabet借钱。

OpenAI成立于2016年，最初是一个非营利的AI研究实验室，由Sam Altman和Elon Musk筹集了10亿美元的资金，今年初转变为营利组织以吸收投资者的资金。该实验室没有足够的资金来支持其研究。微软宣布将在该实验室投资10亿美元。

如当前趋势所示，由于AI研究（尤其是强化学习）的成本，这些实验室越来越依赖于富裕的公司，例如Google和Microsoft。这种趋势 威胁到AI研究的商业化。随着商业组织在为AI研究实验室提供资金方面变得越来越重要，它们也可以影响其活动方向。目前，像Google和Microsoft这样的公司可以承受运行DeepMind和OpenAI等AI研究实验室的财务费用。但是他们也期望在不久的将来获得投资回报。

问题在于，OpenAI和DeepMind都在追求诸如人工智能（AGI）之类的科学项目，这是我们尚未了解的目标，更不用说实现了。大多数科学家都认为，距实现AGI至少还有一个世纪的时间，这种时间表将考验甚至最富有的公司的耐心。

对于AI研究实验室来说，一种可能的情况是逐渐从长期的学术和科学研究转向具有短期收益的面向商业的项目。这将使他们的富裕出资者感到高兴，这将总体上不利于AI研究。

OpenAI研究人员表示：“我们对人工智能系统中计算使用的未来不确定性很高，但是很难相信最近计算机使用快速增长的趋势将停止，并且我们看到这种趋势可以持续的许多原因。基于此分析，我们认为决策者应考虑增加对AI的学术研究的资金，因为很明显，某些类型的AI研究正在变得更加计算密集，因此价格昂贵。”

训练大型AI模型以消耗大量能量所需的计算资源，这会产生碳排放问题

根据马萨诸塞州阿默斯特大学研究人员的一篇论文，训练具有2.13亿个参数的变压器AI模型（通常用于与语言有关的任务）会导致五辆汽车整个寿命的污染。Google著名的BERT语言模型 和OpenAI的GPT-2分别具有3.4亿和15亿个参数。

鉴于当前的AI研究主要由“越大越好”的口号主导，这种对环境的关注只会变得越来越糟。不幸的是，人工智能研究人员很少报告或关注其工作的这些方面。马萨诸塞州大学的研究人员建议AI论文对其模型的环境成本要透明，并向公众更好地展示其工作的意义。

人工智能行业的一些艰难教训

对更大的神经网络感兴趣的最后一个担忧是它可能对AI研究的方向产生负面影响。目前，通常通过抛出更多数据并进行计算来解决AI中的障碍。同时，在AI模型难以解决的一些最简单的任务上，人的大脑仍然要好得多，但它不会消耗AI的一小部分力量。

对增加的计算资源过于痴迷会使我们无法找到更有效的AI技术的新解决方案。该领域中一项有趣的工作是开发结合了神经网络和符号AI 的混合AI模型 。象征性AI是经典的，基于规则的创造智能的方法。与神经网络不同，符号AI无法通过增加计算资源和数据来扩展。在处理现实世界中混乱的，非结构化的数据时，这也很糟糕。但是在知识表示和推理方面，这是很棒的，这是神经网络非常缺乏的两个领域。探索混合AI方法可能会为创建更具资源效率的AI开辟新途径。

有几位科学家对寻找仅神经网络方法的替代方法感兴趣。重新启动AI，一本新书由加里·马库斯和欧内斯特·戴维斯，探讨了这些概念。由屡获殊荣的计算机科学家Judea Pearl撰写的《为什么》（The Book of Why）还探讨了困扰当前AI系统的一些基本问题。

不幸的是，当前围绕深度学习的兴奋使这些对话边缘化了。科学界应该再过一个AI冬季，才开始认真考虑它们，并找到提高AI资源效率的方法。

【文:鲍伯 | 编:唐恩】

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com