大多数（我所知道的）机器学习系统使用一组固定的数据输入通道和处理算法，只扩展由这些处理的底层数据集；他们仅从预定义的来源获取新数据，并且仅使用其固定的内置能力来处理它，可能会调整算法的参数（如神经网络节点的权重），但不会从根本上改变算法。
是否有系统——或创建这些系统的研究——能够“从那里”获取获取数据的新方法和处理数据以获得结果的新方法？不仅要通过主动但静态的算法扩展被动数据集以“消化”它，而是使算法本身进行自我扩展——无论是为自己的数据集创建/获取新的处理方法，还是创建/获取新的获取方法那些数据（这些方法）？
我认为最接近的事情是使用部落架构中的预测来积累知识。加拿大阿尔伯塔大学正在研究如何做出好的预测，但 Horde 架构有可能提出新问题，并根据这些问题的答案以预测的形式生成新数据。
一个例子是有一个带有碰撞传感器和伺服系统的机器人，并提出类似的问题
将舵机顺时针旋转 90 度会使碰撞传感器打开吗？
这个问题可以用文中定义的通用值函数的形式用数学方法估计其答案。
根据这样的预测提出不同的问题是力量的来源。
几周前，我看到Marcin Andrychowicz、Misha Denil、Sergio Gomez、Matthew W. Hoffman、David Pfau、Tom Schaul、Brendan Shillingford 和 Nando de Freitas的这篇论文Learning to learn by gradient descent by gradient descent （即Deepmind 伙计们），其摘要如下：
在机器学习中从手工设计特征到学习特征的转变取得了巨大成功。尽管如此，优化算法仍然是手工设计的。在本文中，我们展示了如何将优化算法的设计转换为学习问题，从而使算法能够学习以自动方式利用感兴趣的问题中的结构。我们的学习算法由 LSTM 实现，在他们训练的任务上优于通用的、手工设计的竞争对手，并且还可以很好地推广到具有相似结构的新任务。我们在许多任务上证明了这一点，包括简单的凸问题、训练神经网络和使用神经艺术设计图像。
您可以在此处找到相关的 Github 存储库。
不幸的是，我仍然没有时间阅读这篇论文来解释这些看似有趣的想法的细节。