二元交叉熵损失的负范围?

数据挖掘 机器学习 神经网络
2022-03-09 20:56:24

所以根据网站:

https://towardsdatascience.com/understanding-binary-cross-entropy-log-loss-a-visual-explanation-a3ac6025181a

二元交叉熵损失定义为:

在此处输入图像描述

适用于输出范围 {0,1}但是,如果我现在将输出缩放为{-1,1}怎么办?如何推导出新的交叉熵损失?

2个回答

你可以做的一件事是强制你的标签(1,1) 成为0,1使用这个简单的线性变换:

y^=(y+1)/2

这样,-1 映射到 0,而 1 映射到 1。

出于实际目的,您可以直接更改模型的输出和标签(在应用原始 BCE 之前),或者根据线性变换稍微更改 BCE 损失函数:

Hp(q)=1Ni=1N(yi+1)2log(p(yi))+(1(yi+1)2)log(1p(yi))

请注意,我只更改了系数,假设概率函数p只返回有意义的值1,1

注意:显然,所有这些仅与二进制交叉熵情况有关。

您可以做的另一种选择是(1-yi)可以在交叉熵公式中使用(-1-yi)。

Hp(q)=-1/N ∑i=1N(yi)log(p(yi))+(-1-yi)log(1−p(yi))。