偏见的作用是什么?

数据挖掘 机器学习 神经网络 深度学习
2021-09-26 03:56:47

在谈论人工神经元、输入、权重和偏差时,我理解每一个的作用,但后者除外。

简而言之,如果我们有一个像 sigmoid(sum(w*x) + b) 这样的神经元,我知道权重基本上说明了哪个输入更“重要”,但是偏差呢?我在另一个问题中读过它“这意味着我们的预测与实际值相差多远。”

但是,如果我们“随机”启动它们,这怎么可能是真的呢?这也不应该是损失/成本函数的工作吗?

2个回答

偏差只是处理未考虑的变量,即您没有将其包含在X中。所有机器学习和神经网络所做的都是近似函数。所有函数都可以使用傅里叶变换表示为一系列指数,这基本上意味着一个函数可以表示为许多其他特殊函数的总和。

在这个系列中,有一个常数项来调整曲线在 x 轴上方的高度。这个常数可以被认为是偏差。因此,它基本上处理了这样一个事实,即当所有变量都为 0 时,函数不必为 0。

偏差只是意味着输出在多大程度上不依赖于输入。它完全等同于截距项,这意味着通过丢弃所有输入,输出将是什么。我们通常将偏差项设置为零。您有成本函数,它是基于权重和偏差的错误率。因此,您尝试更改这些参数以减少错误。