原标题：元学习神经记忆：教神经网络如何记忆

来源：AI 研习社        链接：https://www.yanxishe.com/TextTranslation/2289

记忆是人类智力和人类经验的重要组成部分。它是我们理解现状的基础，帮助我们了解自己的位置，决定下一步该做什么。以读书为例，记忆使我们能理解书中的故事。 它使我们能够有效地存储遇到的信息，并在以后回忆我们以前阅读过的细节（无论是早些时候还是数周），以整理整个叙述。 记忆在深度学习中同样重要，特别是当目标是创建具有高级功能的模型时。 例如，在自然语言的理解和处理领域，记忆对于建模长期依存关系和建立部分可观察状态的表示至关重要。

在第33届神经信息处理系统会议（NeurIPS）上发表的一篇论文中，我们演示了如何使用深度神经网络本身作为存储机制。 我们提出了一种新的模型，元学习神经记忆（MNMA），其中我们将数据存储在深度网络的参数中，并使用该网络定义的功能来调用数据。

深度网络（功能强大且灵活的函数逼近器，能够从训练数据中进行概括或存储数据），由于将信息写入网络参数的速度很慢，因此只能用作存储模块，使用范围有限。 深度网络需要大量数据和许多步骤的梯度下降来学习。 幸运的是，最近在少样本学习和元学习方面取得的进展表明，我们可以如何克服这一挑战。 与标准随机梯度下降法相比，来自这些领域的方法可以从更少的实例中发现优化神经参数的更新程序。 MNM学会了通过元学习技术来学习：它学习如何从记忆模块中读取和写入内存，而不是像大多数现有的计算内存机制那样使用硬编码的读/写操作。

图1：元学习神经存储器（MNM）采用前馈网络进行存储，并采用递归神经网络控制器进行存储器的读写操作。 在上面的模型说明中，绿色和蓝色箭头分别表示用于写入和读取操作的数据流。

学习如何记忆：阅读，写作和元学习

使用MNM，我们将用于记忆的全连接的前馈网络与写入和读取神经记忆模块的递归神经网络（RNN）控制器相结合。

在读取期间，前馈网络充当将键映射到值的功能。 我们将控制器的读取键作为输入传递到神经记忆模块，然后将记忆模块的相应输出向量作为读取值。 这些值是神经记忆模块“恢复”的价值。 它们被传递回控制器以用于下游任务。 在编写过程中，我们将更新存储函数的参数（以最大程度地减少由特定的写入键产生的输出矢量和目标值之间的误差），以便存储函数可以准确地检索所需的值。 目标值和写入键均来自控制器。 因此，控制器决定要在记忆模块中存储什么以及如何触发它。

用于写入记忆模块的参数更新会在训练和测试时连续发生。 控制器参数（不同于内存参数）使用反映特定模型的任务目标和用于学习良好更新策略的元目标进行端到端训练。 重要的是，元目标和任务目标的梯度包括记忆模块写入计算。 通过它们，控制器学习更改记忆模块参数以容纳新数据。

一种新颖的无梯度学习局部更新规则

我们使用两种可替代的内存更新过程训练MNM：一种基于梯度的方法和一种新颖的无梯度学习局部更新规则。 我们将用前者训练的MNM称为MNM-g，将用后者训练的MNM称为MNM-p。

利用标准梯度下降来更新参数以进行记忆模块写入是一个显而易见的选择，但是正如我们发现的那样，该方法有其缺点。 它可能需要多个顺序的梯度步骤才能可靠地存储信息，并且还需要计算多阶梯度-用于更新神经记忆的梯度和用于梯度的梯度以优化元目标。 这些高阶梯度在计算上很昂贵，并且它们的值趋于消失为零，从而没有训练信号。 我们可以将学习到的局部更新规则优化为快速写入，同时避免这些挑战。

图2：元学习神经记忆使用两种可替代更新程序-一种基于梯度的方法和一种新颖的无梯度学习局部更新规则-来更新用于在神经记忆中进行记忆写入的参数。 上图是用学习到的局部更新规则更新神经记忆模块中的整体数据流。 主神经记忆为蓝色，用于预测的向后反馈预测功能（BFPF）模块为橙色。

在执行学习的局部更新规则时，我们将神经记忆的每一层的计算分离为单独的前向传播（如图2中的蓝色所示）和后向反馈预测函数（BFPF）（以橙色显示）。 对于神经记忆层 l，BFPF根据目标值对预期的激活z‘l进行预测。 使用感知器学习规则，我们如下更新层的权重，其中zl 和zl-1是当前层和先前层的激活：

为了清楚起见，我们在此处省略了时间索引和更新率（有关完整的公式，请参见我们的论文）。

感知器更新规则使用预测的激活作为真实目标，并通过外积近似梯度：

由于此更新可微分，因此我们也可以轻松调整BFPF函数的参数。

使用我们提出的学习的局部更新规则，MNM可以同时在局部写入其权重，并且无需跟踪其用于前向传递的完整计算图即可进行写入。 这使得所提出的更新方法非常有效，并且更容易应用于更复杂的神经网络内存结构，如RNN。

解释学习记忆功能

在针对bAbI问答基准进行测试时，衡量长期记忆和推理的行业标准通常已证明对于具有软查找表的神经模型难以实现，因此MNM-g和MNM-p均优于几种最先进的模型。

基准测试中的任务（总共20个）要求MNM逐字阅读一个包含多个字符的故事，然后再回答一个问题。 由于故事是在知道问题之前阅读的，因此模型必须跟踪记忆模块中的所有字符。 通过比较任务中出现的记忆输入键和输出值的不同组合，我们可以直观地看到正在从记忆模块中读取和写入的内容。 我们在MNM-g和MNM-p中观察到非常相似的记忆读取/写入样式。

以MNM-g为例，讨论以下有关bAbI的故事和问题：

Mary travelled to the garden. Mary moved to the bedroom. Sandra went to the bathroom. Daniel travelled to the bathroom. Mary travelled to the office. Daniel moved to the hallway. John moved to the kitchen. Daniel went to the garden.

Where is Daniel?

在图3中，每个单元代表先前读取的句子（x轴）中的单词生成的写入键或目标值与模型读取的上一句（y轴）中每个单词时所生成的写入键或目标值之间的相似性。相似度越高，颜色越亮。比较当前和过去的写入键可以显示内存模块正在写入的位置。比较当前和过去的目标值可以发现正在编写的内容。它们一起可以告诉我们通过写操作在记忆模块中进行了哪些键值关联。

在查看写入键时，例如，在 “Daniel went to the garden”（“丹尼尔去了花园”）和 “Daniel moved to the hallway”（“丹尼尔搬到走廊”）这两个句子中的单词之间有清晰的逐字对齐，颜色鲜艳对角线。 对于与同一字符相关的概念，写入键相似。 在检查目标值时，除了单词对“garden”和“hallway”、外，我们发现类似的对齐方式。对于该对，目标值不同，而键相同。 这意味着该模型通过替换旧的“ Daniel”-“hallway”来创建“ Daniel”-“garden”的新关联，以在继续阅读故事时保持一致的记忆结构。

图3：对在bAbI问答任务期间发生的输入键和输出值的分析，提供了对Metaleared神经记忆模型内部工作的了解。 上面是记忆模块写入的可视化。

我们还研究了在Grid World设置中具有神经记忆的强化学习agent的行为。 下面我们显示了以MNM-g增强的agent（橙色），在左侧探索了目标（红色）的网格世界，在右侧探索了其前五个记忆调用。 这样的分析可以显示agent在探索Grid World环境时的记忆调用模式。

更多关于存储的内容

使用神经网络进行内存存储的想法并不新颖。它至少可以追溯到约翰·霍普菲尔德（John J. Hopfield）于1988年在联想记忆中的著作。据我们所知，我们是第一个采用元学习技术来将信息快速存储在深度网络中的人。在最近相关工作中出现了与霍普菲尔德（Hopfield）更为紧密相关的类似想法。

深度学习研究只是涉及内存方面的问题。我们相信，就像人脑拥有不同类型的记忆（例如工作记忆和程序记忆）一样，在推动深度学习的最新技术发展过程中，还需要发现多种记忆类型。我们认为MNM是这种推动力的一部分，虽然我们仅使用前馈网络，但我们设想将神经记忆应用于更复杂的体系结构（如RNN和图神经网络），并建立不同的归纳偏差以帮助对数据进行建模。

要试验MNM代码和任务，请查看我们的PyTorch实现。

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com