人工智能 - 偏差也是神经网络中的“权重”吗？ - 吾爱随笔录

人工智能神经网络深度学习术语反向传播权重

2021-10-18 16:29:25

我正在学习如何训练神经网络。我了解神经元的工作原理、反向传播以及所有这些。在神经元中，“权重”和“偏差”之间有明显的区别。

Y = σ (weight * input) + bias

$Y= \sigma(\text{weight} * \text{input})+ \text{bias}$

但是，我在训练网络时发现的所有资源都只是调整权重。不是偏见。

但是，他们从未提及偏差应该做什么，这使我认为您只是将所有权重和偏差合并到一个 $W$ 向量并将其称为权重，即使也存在偏差。这理解正确吗？

1个回答

是的，通过添加一个始终输出常数 1 的神经元来忽略偏差并不罕见，然后将其乘以适当的权重以给出与使用显式偏差相同的公式。

使用此约定的一个值得注意的文本是Shai Shalev-Shwartz 和 Shai Ben-David的《理解机器学习：从理论到算法》。在第 20.1 节中，有一个神经网络图，其中一个输出恒定值的神经元被添加到每一层，您可能会觉得这很有帮助。

为了理解为什么会这样，假设前一层的输出是 $u_1, \dots, u_n, u_{n + 1}$ ，在哪里 $u_{n + 1}$ 总是 $1$ . 然后下一层的神经元（没有偏差）计算

σ (\sum_{i = 1}^{n + 1} w_{i} u_{i}) = σ (\sum_{i = 1}^{n} w_{i} u_{i} + w_{n + 1}),

$\sigma\left(\sum_{i = 1}^{n + 1} w_i u_i \right) = \sigma\left(\sum_{i = 1}^n w_i u_i + w_{n + 1}\right),$ 在哪里

σ

$\sigma$ 是激活函数。所以，重量

w_{n + 1}

$w_{n + 1}$ 只是作为偏差，因为它乘以

u_{n + 1} = 1

$u_{n + 1} = 1$ .

其它你可能感兴趣的问题