我的问题涉及高效编码假设之间的关系,该假设在维基百科关于高效编码的页面上概述与神经网络学习算法。
有效编码假说和神经网络有什么关系?
是否有任何神经网络模型受到有效编码假设的明确启发?
或者说所有神经网络学习算法至少隐含地基于高效编码会更公平吗?
我的问题涉及高效编码假设之间的关系,该假设在维基百科关于高效编码的页面上概述与神经网络学习算法。
有效编码假说和神经网络有什么关系?
是否有任何神经网络模型受到有效编码假设的明确启发?
或者说所有神经网络学习算法至少隐含地基于高效编码会更公平吗?
我相信有人可以争辩说已经建立了联系。我很抱歉没有发布我的资源,因为我找不到它,但这是来自 Hinton 展示的一张旧幻灯片。在其中,他声称对于那些进行机器学习的人来说,一种基本的思维方式(因为演示早于深度学习这个词的普遍使用)是存在数据的最佳转换,以便数据可以很容易地学到了。我相信对于神经网络,数据的“最佳转换”通过反向支撑,是有效的编码假设。就像给定一个合适的内核一样,许多空间可以很容易地用线性模型分类,学习转换和存储数据的正确方法类似于应该安排哪些神经元以及如何安排神经元来表示数据。