2004 年，手掌飞行员的发明者Jeff Hawkins出版了一本非常有趣的书，名为On Intelligence，其中详细介绍了人类新皮质如何工作的理论。
这个理论被称为记忆预测框架，它有一些显着的特点，例如不仅自下而上（前馈），而且自上而下的信息处理以及对不同的未来场景进行同时但离散的预测的能力（如前所述在本文中）。
记忆预测框架的承诺是无监督地生成未来可能性的稳定高级表示。可能会彻底改变一大堆人工智能研究领域的东西。
霍金斯创立了一家公司并着手实施他的想法。不幸的是，十多年后，他的想法的承诺仍未实现。到目前为止，该实现仅用于异常检测，这与您真正想要做的相反。您将提取人工皮层无法理解的实例，而不是提取理解。
我的问题是霍金斯的框架有哪些不足之处。到目前为止，阻碍他的理论在实践中发挥作用的具体或概念问题是什么？
简短的回答是，霍金斯的愿景尚未以一种可广泛使用的方式实施，尤其是与预测相关的不可或缺的部分。
长答案是几年前我读了霍金斯的书，并对分层时间记忆 (HTM) 的可能性感到兴奋。我仍然是，尽管我对他对意识、自由意志和其他此类主题的意义的一些哲学思考持保留意见。我不会在这里详细说明这些疑虑，因为它们与 HTM 网络没有像迄今为止预期的那样成功的主要、压倒性的原因无关：据我所知，Numenta 只实现了他的愿景的一个截断版本。他们忽略了大部分预测架构，这在霍金斯的理论中起着至关重要的作用。正如 Gerod M. Bonhoff 在一篇关于 HTM的优秀论文1中所说，
“2007 年 3 月，Numenta 发布了他们声称是 HTM 理论的“研究实现”，称为 Numenta 智能计算平台（NuPIC）。当时 NuPIC 使用的算法称为“Zeta1”。NuPIC 是作为 Zeta1 算法的开源软件平台和二进制文件发布的。由于许可，本文不允许讨论 Numenta 的 Zeta1 算法的专有实现方面。但是，可以讨论通用的实现概念自由。其中最重要的两个是 Zeta 1 算法（封装在网络层次结构的每个内存节点中）如何实现 HTM 理论。要在软件中实现任何理论，都必须针对理论的各个方面进行算法设计。Numenta 采用的最重要的设计决策是消除层次结构中的反馈，而是选择仅使用数据池算法进行加权来模拟这一理论概念。这个决定立即令人怀疑并且违反了 HTM 的关键概念。霍金斯坚持认为，反馈对皮质功能至关重要，也是他理论的核心。尽管如此，Numenta 声称大多数适用于 HTM 的问题都可以使用它们的实现和专有的池化算法来解决。”
我仍在学习该领域的基本知识，不能说 Numenta 是否已经放弃了这种方法，转而支持全面实施霍金斯的想法，尤其是最重要的预测架构。即使他们有，这个设计决定也可能推迟了很多年的采用。这本身不是批评。除了处理神经网络的普通成本之外，当时跟踪预测值和动态更新它们的计算成本可能太高了，除了尝试像他们的专有池这样的半措施之外别无其他途径机制。尽管如此，从那时起，我读过的所有关于该主题的最佳研究论文都选择重新实现算法，而不是依赖 Numenta 的平台，这通常是因为缺少预测功能。Maltoni 为博洛尼亚大学生物识别系统实验室的技术报告2。然而，在所有这些情况下，都没有易于访问的软件可以立即使用它们的变体 HTM（据我所知）。所有这一切的要点就像 GK Chesterton 关于基督教的著名格言一样，“HTM 没有被尝试过，也没有被发现；它们被发现很困难，并且没有被尝试过。” 由于 Numenta 省略了预测步骤，我认为它们将是等待任何想要编写霍金斯关于 HTM 应该是什么的完整愿景的人的主要绊脚石。
1 Bonhoff, Gerod M.，2008 年，使用分层时间记忆检测异常网络活动。于 2008 年 3 月在俄亥俄州赖特-帕特森空军基地的空军技术学院举行。
2 Maltoni, Davide, 2011，分层时间记忆的模式识别。DEIS 技术报告于 2011 年 4 月 13 日发布。博洛尼亚大学生物识别系统实验室：意大利博洛尼亚。
10年生产准备好了吗？
让我们正确看待这一点。感知器于 1957 年推出。直到 1986 年 PDP 书籍发布，它才真正开始作为可用模型开花。对于那些保持得分：29 年。
从 PDP 书籍中，直到过去十年，我们才看到它被详细阐述为可用的深度网络。如果您将 Andrew Ng 和 Jeff Dean 猫识别任务视为 2012 年的深度网络定义事件。可以说，生产准备就绪超过 25 年。