分类交叉熵损失是否总是在 [0, 1] 区间内?

数据挖掘 机器学习 神经网络 张量流 损失函数
2021-10-15 01:45:13

分类交叉熵是否总是介于 0 和 1 之间,或者在训练神经网络期间它是否有可能获得更高的值?

更具体地说,我指的是TensorFlow 2.0 函数

1个回答

您实际上可以从中获取值[0,[. 考虑交叉熵损失如下公式:

loss(ypred,ytrue)=logypred,classi

,而指数classi声明您只使用i第课。

例如认为你真正的班级是dog,它由3rd 输出神经元。3rd 输出神经元您的网络输出的概率为10%. 你的损失是log10%=2.3. 此外,如果您的概率仅为0.1%你的损失将等于6.9等等。

请记住:

limx0logx=