具有均匀目标分布的回归的适当损失函数

机器算法验证 分布 神经网络 损失函数
2022-04-21 08:09:23

我正在做一些模拟,我想估计一个在 minValue 和 maxValue 之间均匀分布的实数。例如,在 20 到 30 之间(它不是一个角度,因此估计它的正弦是不合适的)。到目前为止,我使用了 MSE 损失,但是在绘制估计样本的直方图之后,它们遵循高斯分布。

经过网上的一些研究,我看到使用 L2 范数假设目标是正态分布的(不相关的问题:数学上的原因是什么?)。但是,目标遵循均匀分布。

因此,什么是改善估计分布的良好损失函数?可以通过使用更大的网络来解决吗?我的网络由 9 个模仿 ResNet 架构的 convLayer 和一个用于估计目标的全连接层组成。

最后,由于正在模拟目标数据,我可以访问无限数据。

1个回答

使用 L2 范数假设目标是正态分布的

对不起,但这是胡说八道。(网上有很多废话。)

您选择的误差度量或损失函数对目标变量的(有条件或无条件)分布没有任何假设。相反,不同的损失函数会引出目标变量的不同函数无论条件分布是正态分布还是泊松分布,都将通过条件均值最小化 MSE。(假设存在这种期望,并且我们不处理Cauchy。)MAE 的期望值将被中位数最小化。如果您的分布确实是对称的,就像法线一样,MSE 和 MAE 都将倾向于相同的点预测,但如果分布是不对称的,就像泊松一样,两个最小化器将是不同的。

您可能会发现我的一篇论文 ( Kolassa, 2020, IJF ) 很有用。或此线程:平均绝对百分比误差 (MAPE) 的缺点是什么?

因此,您的策略应该是首先确定您正在寻找的目标分布的哪个函数——平均值、中位数、分位数等等。然后,并且只有这样,您才能选择引发此功能的错误度量。