“由外而内”与“由内而外”机器学习

人工智能 机器学习 深度学习 决策树 图像分割
2021-11-16 11:47:39

一点背景知识……我断断续续地学习数据科学大约一年左右,然而,几年前我开始考虑人工智能。我对一些常见的概念有一个粗略的理解,但仍然没有多少深度。当我第一次了解深度学习时,我的自动反应是“我们的大脑不是这样做的”。深度学习显然是一个重要的话题,但我试图跳出黑箱来思考。

我认为深度学习是“由外而内”的,因为模型必须依靠示例来理解(因为没有更好的术语)某些数据集是重要的。然而,在没有任何先验知识的情况下(即“由内而外”),我们的大脑似乎知道某事何时是重要的。

这是一件事:

在此处输入图像描述

我用谷歌搜索了“宜家硬件”来找到它。关键是您可能不知道这是什么,或者图像与其他任何东西之间存在任何心理关系,但您可以看到它是某种东西(或两个东西)。我意识到有无监督学习、图像分割等,它们处理在未标记数据中寻找顺序,但我认为这个例子说明了我们倾向于思考机器学习/人工智能的方式与我们的大脑实际工作方式之间的区别。

更多示例:

1)

在此处输入图像描述

2)

在此处输入图像描述

3)

在此处输入图像描述

假设#1 是一个股票图表。如果我正在查看图表并尝试检测模式,我可能会在精神上将图表简化为#2。也就是说,图表可以简化为水平段和上升段。

对于#3,假设这表示 log(x)。尽管它不是一条直线,但没有真正数学背景的人可以将其描述为一个向上的斜率,随着线的升高而减小。也就是说,线路仍然可以简化为少量简单的想法。

我认为这种简化是我们的思维方式与人工智能目前存在的方式之间存在差距的关键。我知道傅里叶变换、多项式回归等,但我认为在感官数据中寻找顺序有一个更一般的过程。一旦我们识别出有序的事物(即不能合理地成为随机噪声的事物),我们将其标记为事物,然后我们的心理网络在它与其他事物、高阶概念等之间建立关系。

我一直在尝试考虑如何使用决策树来查找数据中的顺序口袋(无济于事 - 我还没有想出将其应用于上述所有场景),但我想知道是否有是与一般理论一致的任何其他技术或思想流派。

1个回答

听起来你对机器学习背景下的内在动机和注意力的想法很感兴趣。这些都是大课题,也是许多积极研究的课题。

内在动机说,识别值得学习的有趣模式和技能的关键是给智能体一些内在的理由来学习做新事物。这与人类所拥有的并无不同:学习新事物,最大限度地提高或锻炼我们的能力是亚里士多德认为的美好生活。因此,有充分的理由认为 AI 的内在动机可能会解决您发现的问题。目前该领域的研究正在探索不同的数学方法来表示内在动机。

在过去的几年里,注意力是深度神经网络大量研究的主题。这是来自 ICML 的 AWS最近的一次演讲,提供了很好的概述。这里的想法是,代理既可以学习从输入到输出的合理映射,也可以学习一个单独的映射,该映射描述不同的未来输入应该如何“激活”代理已经学习的输入/输出映射的某些部分。本质上,注意力驱动模型包括第二个组件,该组件学习在从事某些类型的任务时要注意输入的哪些特征。