我在网上发现一个带有softmax激活的交叉熵激活函数的导数是（输出-预期），这让我很困惑。例如，如果期望值为 1，并且由于输出总是小于 1（softmax），这是否意味着导数为负，如果我们用这个梯度训练我们的权重，权重会减少，所以在下一次迭代中输出会减少，从而增加误差？它是如何工作的？
交叉熵如何与 Softmax 激活函数一起工作？
数据挖掘
机器学习
神经网络
分类
2022-02-15 21:20:31
1个回答
正如您所提到的，（输出预期）看到，这个值将小于 0（负输出 <1 并且预期 = 1）现在 w_new = w_old - learning_rate*derivative 现在基于导数，w_new 可以大于或小于 w_old .
我想当你假设负导数时，权重减少是不正确的。此外，即使权重减少，输出也会减少也是不正确的。
其它你可能感兴趣的问题