带有 logits 的 Softmax 交叉熵可以定义为：

$a_i = \frac{e^{z_i}}{\sum_{\forall j} e^{z_j}}$

$l={\sum_{\forall i}}y_ilog(a_i)$

在哪里$l$是实际损失。

但是，当您深入研究C++ Tensorflow的SoftmaxCrossEntropyWithLogits操作实现时，他们使用的确切公式被描述为：

$l={\sum_{\forall j}}y_j ((z_j-max(z))-log({\sum_{\forall i}}e^{z_i-max(z)}))$

那个部分：$z-max(z)$- 完全理解 - 它只是有助于避免下溢/溢出的标准化。

但：

• 他们的实施实际Softmax在哪里？

• 为什么从每个$z_j$他们减去$log({\sum_{\forall i}}e^{z_i-max(z)})$在乘以之前$y_j$?

注意：有人可能会争辩说，我提供的代码只是 Tensorflow 的CrossEntropyWithLogits操作实现，但实际SoftmaxCrossEntropyWithLogits操作 - 另外仅检查维度并且不执行任何更多计算。