在 OP rcpinto 的建议下，我转换了关于看到“大约六篇论文跟进 Graves 等人的工作，这些论文已经产生了口径的结果”，并将提供一些链接。请记住，这仅回答了与 NTM 相关的部分问题，而不是 Google DeepMind 本身，而且我仍在学习机器学习的基本知识，所以这些论文中的一些材料让我头疼；不过，我确实设法掌握了Graves 等人的原始论文{1] 中的大部分材料，并且接近拥有要测试的本土 NTM 代码。在过去的几个月里，我至少还浏览了以下论文；他们没有以严格的科学方式复制 NTM 研究，但他们的许多实验结果确实倾向于至少在切线上支持原始研究：

• 在这篇关于 NTM 寻址变体版本的论文中，Gulcehere 等人。不要试图精确复制 Graves 等人的测试，但与 DeepMind 团队一样，它确实证明了原始 NTM 和几个变体比普通循环 LSTM 的结果明显更好。他们使用 Facebook 问答数据集的 10,000 个训练样本，而不是 N-grams Graves 等人。在他们的论文中进行了操作，所以这不是最严格意义上的复制。然而，他们确实设法让原始 NTM 的一个版本和几个变体启动并运行，并且记录了相同幅度的性能改进。2

• 与最初的 NTM 不同，本研究测试了不可微分的强化学习版本。这可能就是为什么他们无法解决一些类似编程的问题，比如重复复制，除非控制器不局限于向前移动。然而，他们的结果足以支持 NTM 的想法。他们的论文的最新版本显然是可用的，我还没有阅读，所以也许他们的一些变体问题已经解决了。3

•本文没有将 NTM 的原始风味与 LSTM 等普通神经网络进行测试，而是将其与几种更先进的 NTM 记忆结构进行对比。他们在与 Graves 等人相同类型的类似编程的任务上取得了良好的结果。经过测试，但我认为他们使用的不是相同的数据集（从他们的研究编写方式很难判断他们正在使用哪些数据集）。4

• 在第。在本研究的第 8 章中，NTM 在 Omniglot 字符识别数据集上明显优于几种基于 LSTM、前馈和最近邻的方案。作者提出的另一种外部记忆方法显然优于它，但它显然仍然表现良好。作者似乎属于谷歌的一个竞争对手，因此在评估可复制性时这可能是一个问题。5

• 在第。2这些作者报告说，在复制任务的测试中，他们使用更小的 NTM 网络在“非常大的序列”上获得了更好的泛化，他们使用遗传 NEAT 算法进化，该算法动态增长拓扑。6

NTM 相当新，所以我想还没有太多时间来严格复制原始研究。然而，我在夏天浏览的几篇论文似乎为他们的实验结果提供了支持。除了出色的性能外，我还没有看到任何报告。当然，我有可用性偏差，因为我只阅读在粗心的互联网搜索中很容易找到的 pdf。从这个小样本看来，大多数后续研究都集中在扩展概念上，而不是复制上，这可以解释缺乏可复制性数据。我希望这会有所帮助。

1格雷夫斯，亚历克斯；Wayne, Greg 和 Danihelka, Ivo，2014 年，“神经图灵机”，2014 年 12 月 10 日出版。

2古尔切赫尔，卡格拉尔；钱达，萨拉特；Choy, Kyunghyun 和 Bengio, Yoshua，2016 年，“具有软硬寻址方案的动态神经图灵机”，2016 年 6 月 30 日出版。

3 Zaremba、Wojciech 和 Sutskever, Ilya，2015 年，“强化学习神经图灵机”，2015 年 5 月 4 日出版。

4张；魏; Yu, Yang 和 Zhou, Bowen，2015 年，“神经图灵机的结构化内存”，2015 年 10 月 25 日出版。

5桑托罗，亚当；巴尔图诺夫，谢尔盖；博特维尼克，马修；Wierstra, Daan 和 Lillicrap, Timothy，2016 年，“使用记忆增强神经网络进行一次性学习”，2016 年 5 月 19 日发布。

6波尔格雷夫，拉斯穆斯；Jacobsen、Emil Juul 和 Sebastian Risi，日期不详，“不断发展的神经图灵机”。未列出出版商

除了（也许）Boll Greve 等人之外的所有其他人。发表于康奈尔大学图书馆 arXiv.org 资料库：纽约伊萨卡。

我倾向于认为这个问题是边界线，可能会接近。不过，现在有一些评论。

wrongx 复制像 DeepMind 这样的公司的工作有（至少）两个问题：

• 出版物中缺少技术细节。
• 访问同一级别的数据。

技术性应该是可行的。有些人复制了一些雅达利的游戏特技。AlphaGo 看起来更复杂，需要更多的工作，但这在未来的某个时候应该是可行的（个人今天可能缺乏计算资源）。

数据可能更棘手。几家公司公开他们的数据集，但数据也是竞争的神经……