有什么方法和理由可以在深度自动编码器上引入稀疏约束?
特别是,在深度自动编码器中,第一层的单位通常比输入的维数多。
文献中是否有任何案例明确地对这一层的非稀疏性施加惩罚,而不是像普通多层网络那样仅仅依赖反向传播和权重衰减?
我阅读了关于稀疏自动编码器的本教程并在网上搜索了一下,但除了仅使用单层之外,我没有发现在任何其他情况下使用这种稀疏约束的情况。
有什么方法和理由可以在深度自动编码器上引入稀疏约束?
特别是,在深度自动编码器中,第一层的单位通常比输入的维数多。
文献中是否有任何案例明确地对这一层的非稀疏性施加惩罚,而不是像普通多层网络那样仅仅依赖反向传播和权重衰减?
我阅读了关于稀疏自动编码器的本教程并在网上搜索了一下,但除了仅使用单层之外,我没有发现在任何其他情况下使用这种稀疏约束的情况。