人工神经网络只是高度分布的有损压缩方案吗?
人工智能
神经网络
2021-10-31 21:20:47
2个回答
自动编码器是 ANN 的一个家族,在训练时完全考虑到了压缩。所以肯定有些人工神经网络是压缩器。
此外,一般来说,人工神经网络学习最好的概念来最小化适应度误差。我想说这意味着,在分类和回归中,1)区分各种输入和 2)为每个输入输出正确的值。特别是第 1 点)意味着具有尽可能多的不同净激活配置,以(至少)区分需要(显着地,不是在统计意义上,只是在定性意义上)不同输出的输入。我倾向于认为,如果输入足够复杂,您会将所发生的事情称为“压缩”。
ANN 不会压缩,它们会泛化。
通常这会导致压缩,即内部广义表示小于原始输入,但不一定。想象一个经过训练可以使用计算机游戏的屏幕输入来玩游戏的人工神经网络。如果游戏非常丰富且概念上很深,单个屏幕输入的内部表示可能比输入本身大很多,因为 ANN 将单个数据点放入整体数据的上下文中。这将我们引向第二点:
ANN(和新皮质)分层建模数据。
这就是让他们如此强大的原因。因此,这不仅仅是拥有大量参数,它们还必须以捕捉数据(或世界)结构的方式排列,这些结构通常看起来是分层的。只需看两张不同的鸭子图片。在像素级别上,它们可能与随机图像一样不同,所有相似之处都出现在更高级别的层次结构中,当足够多的像素组合为您提供羽毛、喙和网的图案时。布隆过滤器显然缺乏这个属性。他们只会给你一个像素一个像素的帐户,说明你以前是否(几乎)完全看过这张照片。