如何防止神经网络输出过于聚集的概率?

数据挖掘 神经网络 逻辑回归 预言
2022-02-19 18:23:49

我有一个使用逻辑输出的 CNN 输出概率。在测试集上表现不错。然而它输出的概率非常集中,它们不是 0 就是 1!

在此处输入图像描述

我希望网络输出的概率更细化。有些特征比其他特征更明显,网络应该能够学习到这一点。关于如何解决这个问题的任何想法?

1个回答

这通常是您在分类中得到的最理想的情况,但如果您真的想要,您可以对预测添加一个惩罚,以迫使它们远离零或一,例如loss'(x) = loss(x) - param * prob_hat(x) * (1 - prob_hat(x)),或一些不同的惩罚。