在激活函数之后错误地添加偏差会有什么影响?

人工智能 神经网络 机器学习 训练 反向传播 激活函数
2021-11-02 07:29:50

我在看一个个人项目神经网络实现的源代码,激活函数后错误地应用了每个节点的偏差。因此每个节点的输出为σ(i=1nwixi)+b代替σ(i=1nwixi+b). 假设标准的反向传播算法用于训练,这会产生什么(如果有的话)影响?

1个回答

L(w,b)=σ(i=1nwixi)+b,然后偏导数L关于b,在莱布尼茨的符号中,是Lb=1. L(w,b)=σ(i=1nwixi+b),然后偏导数L关于bLb=Lσσb.

所以,一般来说,偏导数关于b在这两种情况下会有所不同,因此,在梯度下降步骤中,b在这两种情况下都会有不同的更新。在实践中,它可能会或不会影响模型的性能,具体取决于偏差对给定问题的重要性。阅读此答案以了解偏见的作用。