交叉熵损失由下式给出：

现在0-1我们知道 sigmoid 函数输出的0值1介于sigmoid(z)+ or -infinity

尽管您的编译器给出了除以0错误，因为非常小的浮点数四舍五入到0，它实际上并不重要，因为它只会在 2 种情况下发生：

1. sigmoid(z) = 0，在这种情况下，即使编译器无法计算（等式中的第一项），它最终也会log(0)乘以最终答案为 0。y_i0
2. sigmoid(z) = 1，在这种情况下，即使编译器无法计算（等式中的第二项），它最终也会log(1-1)乘以最终答案为 0。1 - y_i0

如果您根本不想要错误，有几种方法可以解决这个问题：

• 如果可用，将编译器的精度提高到 float64 或无穷大。
• 0以这样的方式编写程序，即任何乘以0而不查看其他项。
• 编写程序以一种特殊的方式处理这种情况。

Implementation side note:在大多数处理器 (AFAIK) 中，您无法使用手动异常处理程序绕过除以 0 错误。因此，您必须确保根本不会发生错误。

注意：假设随机权重初始化考虑到在训练开始时不会发生这样的事实$\tilde y$或者$1-\tilde y$为 0，而目标正好相反，假设由于良好的训练，输出接近目标，因此上面提到的 2 种情况将成立。

希望这可以帮助！