BANANAS：新的神经网络架构搜索方法(NAS)

资源分类

2019-11-20 |

554 |

原标题：BANANAS：新的神经网络架构搜索方法(NAS)

来源：AI 研习社链接：https://www.yanxishe.com/TextTranslation/2222

在这篇文章中，我们讨论了一个最先进的神经架构搜索算法。

Arxiv文章链接：https://arxiv.org/abs/1910.11858

源代码：https://www.github.com/naszilla/bananas

神经架构搜索（NAS）是机器学习中最热门的领域之一，在过去的几年中就有数百篇文章被发表（详情见：this website）。NAS的目标是通过算法（有时甚至是一个神经网络）去学习给定目标数据集下最好的网络架构。

NAS中最流行的技术方法包括强化学习、进化算法、贝叶斯优化和基于梯度的方法。每种技术都有优点和不足。例如，贝叶斯优化（BayesOpt）在理论上是最有前途的方法之一，并在机器学习的超参数优化方面取得了巨大的成功，但是在实际应用中，对NAS采取贝叶斯优化是具有挑战的。贝叶斯优化通过对神经网络架构空间建模，自动地选取下一步应该尝试的网络架构。可以参考我们之前介绍的在NAS中使用BayesOpt的博客（previous blog post）。然而，为NAS设置BayesOpt需要大量的人力来创建人为设计的距离函数和调优高斯过程。

来自BANANAS的元神经网络示意图

在我们的新论文中，我们设计了BANANAS，一种新的NAS算法，它使用带神经网络的贝叶斯优化模型代替高斯过程模型。也就是说，在贝叶斯优化的每次迭代中，我们训练一个元神经网络来预测搜索空间中未训练过架构的网络精度。该技术解决了上述贝叶斯优化在NAS中的问题：该模型具有足够的能力预测神经网络的精度，并且不需要人为构建神经网络之间的距离函数。

路径级神经网络架构编码方案

我们使用路径级编码方案来编码神经网络架构，这极大地提高了元神经网络的预测精度。在多个流行的搜索空间中，仅对200个随机神经网络架构进行训练后，我们预测神经网络架构的验证精度，其精度与真实精度的平均误差在1%以内。在贝叶斯优化中，BANANAS的采集函数也采用了Thompson sampling的新颖变体。

在CIFAR-10的NASBench搜索空间上进行神经架构搜索的实验

我们在两个最流行的搜索空间（NASBench和DARTS搜索空间）中测试了BANANAS 。我们的算法比我们尝试的其他算法表现得更好，包括进化算法、强化学习、标准BayesOpt、AlphaX、ASHA和DARTS。BANANAS发现的最佳架构在CIFAR-10上实现了2.57%的测试误差，与最先进的NAS算法相当。