我正在尝试训练神经网络进行多重非线性回归. 到目前为止效果很好(低 MSE),但有一些预测是“非物理的”,例如对于我们的应用,从第一原理可知,当增加,然后也必须增加(),但在某些情况下,神经网络的输出不符合此约束。另一个例子是应该小于一个常数
我想过在损失函数中添加一个惩罚项来强制执行这些约束,但我想知道是否有一种“更难”的方式来施加这样的约束(也就是说,要确保这些约束将永远成立,而不仅仅是那个非-物理预测将受到惩罚)
我正在尝试训练神经网络进行多重非线性回归. 到目前为止效果很好(低 MSE),但有一些预测是“非物理的”,例如对于我们的应用,从第一原理可知,当增加,然后也必须增加(),但在某些情况下,神经网络的输出不符合此约束。另一个例子是应该小于一个常数
我想过在损失函数中添加一个惩罚项来强制执行这些约束,但我想知道是否有一种“更难”的方式来施加这样的约束(也就是说,要确保这些约束将永远成立,而不仅仅是那个非-物理预测将受到惩罚)
我脑海中浮现出一些想法:
如果是您可以使用链式法则计算梯度并限制权重以使约束成立
如果是您可以在输出层上使用剪辑功能吗?