机器学习中的维度跳跃

数据挖掘 机器学习 图像识别
2021-09-15 06:23:47

什么是机器学习中的维度跳跃问题(发生在卷积神经网络和图像识别中)?我已经用谷歌搜索了它,但我得到的只是关于材料形状变形物理学的信息。如果有人用与机器学习相关的例子来解释它,那对我会更有帮助。任何人都可以帮助我解决这个问题或将我指向可以的资源吗?

4个回答

欢迎来到 DataScience.SE!我从来没有听说过这个问题,所以我查了一下。Geoff Hinton 在本演示文稿的第三张幻灯片中对此进行了解释:

更多难以识别物体的事情

• 视点的变化会导致标准学习方法无法应对的图像变化。

– 输入维度(即像素)之间的信息跳跃

• 想象一个医学数据库,其中患者的年龄有时会跳到通常编码体重的输入维度!

– 要应用机器学习,我们首先要消除这种维度跳跃。

换句话说,它是关于概念特征从一个输入特征维度迁移或跳跃到另一个输入特征维度,同时仍然表示相同的事物。人们希望能够捕获或提取特征的本质,同时对其编码的输入维度保持不变。

据我了解,问题如下:在图像识别中,网络的输入可能是像素(灰度或黑白只有 1 和 0)。例如,如果您想识别手写数字,那么仅使用这样的值是非常困难的,因为您永远不知道数字(即黑色值)的确切位置。

像素是 140 黑色还是 142 黑色?在这两种情况下,它都可能是三分之二。在年龄/体重示例中,这些输入是明确定义的。特征2是重量。特征3是年龄。这些“维度”不应该在您的数据集中“跳跃”。

所以:在你的图片训练中,必须独立于它们在图片中的位置来识别“三人”或“汽车”或“房子”,即像素值,即特征/输入向量,即与明确定义相反的尺寸输入,例如患者数据。

你如何在图像识别中解决这个问题?您使用额外的技巧,例如卷积。

我阅读了之前的答案,Neil Slater 对 Emre 帖子的评论(在下面再次复制)一针见血。“Dimension hopping”是机器学习先驱成名的 Hinton 博士在观点语境下创造的术语。引用 Hinton 博士的话:“因此,通常设想输入尺寸对应于像素,并且,如果一个物体在世界上移动,而您没有移动眼睛来跟随它,则有关该物体的信息将出现在不同的像素上。” 年龄和体重是不容易混淆的输入维度。Hinton 博士使用这种显然不太可能的患者年龄和体重的维度跳跃情况来表示我们肯定能够发现并修复这些类型数据之间的任何错误(很难不注意到大多数成年人都在 100 岁以下或更多超过 100 磅)。Hinton 博士正在解决的可能的维度跳跃问题是像素可能会因为我们有不同的视点而移位(例如,物体可能已经移动,或者我们从不同的角度看它)。线性神经网络无法检测到这一点,而设计的卷积神经网络可以。

“年龄示例应该突出显示没有维度跳跃的数据集。年龄和体重不会“跳跃”或在示例之间随机交换值 - 它们不可互换,示例显示了这将是多么奇怪(以及如何困难,它会使简单的任务,例如线性回归)。由于问题的性质,图像中的像素值(以及许多信号处理任务中的类似数据)确实可以互换或移动。- Neil Slater 2016-05-29 18:01 "

直接来自 Hinton 的机器学习神经网络课程的解释......

“当人们可以获取某些输入的维度中包含的信息,并在不改变目标的情况下在维度之间移动它时,就会发生维度跳跃。典型的例子是采用手写数字的图像并将其翻译到图像中。包含“墨水”的维度现在不同(它们已移动到其他维度),但是我们分配给数字的标签没有改变。请注意,这不是什么这在整个数据集中始终如一地发生,也就是说,我们可能有一个包含两个手写数字的数据集,其中一个是另一个的翻译版本,但这仍然不会改变数字的相应标签。”