Andrew Ng在逻辑回归模块下的ML Coursera 课程中解释了使用交叉熵作为成本函数背后的直觉，特别是在这个时间点使用数学表达式：

$$\text{Cost}\left(h_\theta(x),y\right)=\left\{ \begin{array}{l} -\log\left(h_\theta(x)\right) \quad \quad\quad \text{if $y =1$}\\ -\log\left(1 -h_\theta(x)\right) \quad \;\text{if $y =0$} \end{array} \right.$$

这个想法是，对于一个值在 0 和 1 之间的激活函数（在这种情况下是一个逻辑 sigmoid，但显然适用于例如 CNN 中的一个softmax 函数，其中最终输出是一个多项逻辑），在真 1 值的情况($y=1$)，将从无穷大减小到零$h_\theta(x)\to1$，因为理想情况下我们希望它是$1$，准确预测真实值，从而奖励接近它的激活输出；反过来，成本将趋于无穷大，因为激活函数趋于$0$. 反之亦然$y=0$用获得对数的技巧$1-h_\theta(x)$, 而不是$h_\theta(x).$

---

这是我尝试以图形方式显示这一点，因为我们将这两个函数限制在垂直线之间$0$和$1$，与 sigmoid 函数的输出一致：

---

这可以用一个更简洁的表达来概括：

$$\text{Cost}\left(h_\theta(x),y\right)=-y\log\left(h_\theta(x)\right)-(1-y) \log\left(1 - h_\theta(x)\right).$$

在 CNN 中的 softmax 的情况下，交叉熵将类似地表述为

$$\text{Cost}=-\sum_j \,t_j\,\log(y_j)$$

在哪里$t_j$代表每个类的目标值，并且$y_j$输出分配给它的概率。

超出直觉，交叉熵的引入意味着成本函数是凸的。