你的问题启发了我从数学分析的角度来看待损失函数。这是一个免责声明——我的背景是物理学，而不是统计学。

让我们将重写为 NN 输出的函数并求其导数：$-loss$$x$

$f(x) = a \ln x + (1-a) \ln (1-x)$

$f'(x) = \frac{a-x}{x(1-x)}$

其中是目标值。现在我们放并假设很小，为了清楚起见，我们可以忽略项：$a$$x = a + \delta$$\delta$$\delta^2$

$f'(\delta) = \frac{\delta}{a(a-1) + \delta(2a-1)}$

这个等式让我们直观地了解损失的行为方式。当目标值为（接近）零或一时，导数为常数或。对于中是线性的。$a$$-1$$+1$$a$$\delta$

换句话说，在反向传播过程中，这种损失更关心非常亮和非常暗的像素，但在优化中间色调上投入的精力较少。

关于不对称性 - 当 NN 远非最佳时，这可能并不重要，因为您会更快或更慢地收敛。当 NN 接近最佳值（很小）时，不对称性消失。$\delta$

如果您认为当 true 为 0.2 时 0.1 和 0.3 的损失应该相等，则没有理由使用交叉熵。损失函数应该反映您或您所在领域的常识。

但是，如果真值对应于均值为和之间的交叉熵损失等于和之间的 KL 散度，这是最自然的和某种意义上的最优损失。 $p$$p$$p$$q$$Ber(p)$$Ber(q)$

通常，每个强凸损失的行为都类似于真实值附近的因此，随着您的预测在任何损失中变得准确，损失选择的敏感性将消失。$l_2$

在任一方向上变化 0.1 会引入对称的加法效应，但会引入不对称的乘法效应。

这意味着虽然 A 和 B 与真实均值的偏移相同，但真实值是 A 的两倍，但为 B 的 2/3。反之，如果 A 是真实值的一半，B 是它的 1.5 倍。IE 它们的乘法距离不同。

在评估预期是对称的事物时，人们会使用对称函数，而在不对称情况下使用不对称函数。请注意，使用日志是因为它们允许我们以更加法的方式处理乘法过程。

在由say参数化的伯努利分布下$p = 0.3$通过自动编码器的输出，绘制的概率$x = 0.2$为零（并且对所有人都为零$0 < x < 1$）。这确实使伯努利分布成为非二进制数据的糟糕选择。

但是，输入的稍微不同的视图可以恢复伯努利分布。让我们假设$x = 0.2$是来自某个测量设备的样本，而这$x = 0.2$最好将读数描述为它本身是概率分布的参数，例如正态分布或伯努利分布。让我们和后者一起说吧$x = 0.2$表示带参数的伯努利过程$p' = x = 0.2$. 因此，有一些潜在的二进制传感器或事件是$0$有概率$0.2$和$1$有概率$0.8$. 我们的自动编码器的输出是一个伯努利分布，比如$p = 0.3$. 问一下确实有意义：绘图的预期结果是什么$0$或者$1$真实伯努利过程的读数（带参数$p'=0.2$)，然后根据自编码器的伯努利分布计算其似然值（带参数$p = 0.3$）。这个预期的可能性是$p'p + (1-p')(1-p) = (0.2)(0.3) + (0.8)(0.7)$. 我们也可以问期望的对数似然是什么，那就是$p'\log(p) + (1-p')\log(1-p)$. 当我们替换符号时$p'$用通常的符号，$y$, 我们得到通常的表达式$y\log(p) + (1-y)\log(1-p)$.

通过以不同的方式解释输入（作为分布参数），交叉熵损失作为预期对数似然的负数确实有意义，其中预期超过“输入”分布，并且根据我们的“输出”计算似然性分配。