一般来说，如何平衡允许神经网络的一层适应/学习其训练数据，同时又迫使神经网络表示某些已知结构（例如，表示函数族）的两种相反的力量？神经网络可能会找到最佳权重，但这些权重可能不再使层代表我最初想要的功能。
例如，假设我想在我的神经网络中间创建一个卷积层，它是一个低通滤波器。然而，在整个网络的上下文中，该层可能在训练结束时不再是低通滤波器，因为反向传播算法找到了更好的最优值。如何让权重尽可能优化，同时仍保持我最初想要的低通特性？
提前感谢您的任何帮助和建议。一般提示或指向特定文献将不胜感激。
平衡神经网络中的学习和结构
人工智能
神经网络
2021-10-22 07:55:03
2个回答
扩展@mirror2image 的评论，如果您有特定的度量标准，可以让您测量预期层与低通滤波器的接近程度（例如，将其输出与低通滤波器产生的结果进行比较），最简单的方法要实现您想要的，需要在您的损失函数中添加一个计算该指标值的项。这样，每次您进行训练步骤时，网络现在不仅要输出正确的预测，而且还被迫这样做，同时还要使特定层的行为尽可能接近低通滤波器。这是调整神经网络行为的最常见方法，在许多研究论文中经常遇到。
关于训练的想法是允许权重（而不是你写的层）“学习”重视他们从一般网络设置中“想要”的东西。但实际上 iv 也考虑过这一点，并且要根据需要表示权重，您可以首先训练一个较短的网络，同时将这些权重 (1) 作为最后一个，因此在经过大量训练后，您可以最大程度地控制它们这些层和权重（1）的学习率比新权重小得多
其它你可能感兴趣的问题