损失函数范围归一化

数据挖掘 损失函数 卷积神经网络
2021-10-09 07:02:24

这是来自我提交论文的会议的审稿报告——我不太明白,我不确定我需要做什么。

我在模型中使用欧几里得损失和 Softmax 交叉熵(像素级)损失。裁判指出,损失不在同一范围内,没有加权。

我从未在其他模型中看到过这种情况(例如 Faster R-CNN、Mask R-CNN)。任何建议如何解决这个问题?

1个回答

我同意裁判的看法。当您的损失由不同的条款组成时,您应该添加一种机制,使您能够调整这些条款的贡献。

只需创建一个新的超参数(通常称为 lambda)并像这样使用它:

L=L1+λL2

您必须通过交叉验证找到正确的 lambda。

这在大多数论文中使用。例如:https ://arxiv.org/pdf/1806.08462v1.pdf第 3 页