我正在训练一个神经网络来预测单个对象的位置，因此预测包含 4 个值：x、y、宽度和高度。如果没有重量衰减，损失从 0.3 左右开始。如果我以 0.004 的因子添加权重衰减，损失会跃升至 22 左右。这是否意味着网络将更重视最小化权重而不是找到好的坐标？损失函数各组成部分之间的平衡有多重要？
损失值组成部分之间的平衡有多重要？
数据挖掘
机器学习
神经网络
2022-02-23 20:54:11
1个回答
成本函数完全控制算法——权重衰减的新正则化可能是损失跳跃的原因。如果你只添加了少量的正则化并且损失激增，那么你可能非常过拟合。
解决方案是交叉验证。如果正则化，了解最佳数量的唯一方法是查看保留数据的最佳方法。