机器算法验证 - RNN 中的偏置输入 - 吾爱随笔录

RNN 中的偏置输入

机器算法验证机器学习神经网络

2022-03-30 16:16:55

据我所知，前馈神经网络的偏置输入通常连接如下：

它们在循环神经网络中是如何连接的？（我的猜测如下）

1个回答

这基本上是正确的。

偏差是添加到神经网络层中每个单元的“偏移量”，独立于该层的输入。偏差允许层对以原点以外的某个点为中心的数据空间进行建模。

在数学上，没有偏差的前馈神经网络层写为

z = σ (W x)

$z = \sigma(Wx)$ 在哪里

W

$W$ 是层的权重，

x

$x$ 是层的输入，并且

σ (\cdot)

$\sigma(\cdot)$ 是层的激活函数。如果你想给这个表达式添加一个偏差，通常创建一个单独的参数

z = σ (W x + b) = σ (\sum_{i = 1}^{n} W_{i} x_{i} + b) .

$z = \sigma(Wx + \color{red}{b}) = \sigma\left(\sum_{i=1}^n W_i x_i + \color{red}{b}\right).$ 但这相当于创建一个伪输入节点

x_{0} = 1

$\color{red}{x_0}=1$ 在上一层并将其堆叠到输入上

\hat{x} = [1 x^{⊤}]^{⊤}

$\hat{x} = [\color{red}{1} \; x^\top]^\top$ ，和

b

$\color{red}{b}$ 被堆叠到开始

W

$W$ 所以

\hat{W} = [b W]

$\hat{W} = [\color{red}{b} \; W]$ ：

z = σ (\hat{W} \hat{x}) = σ (\sum_{i = 0}^{n} {\hat{W}}_{i} {\hat{x}}_{i}) = σ ({\hat{W}}_{0} \cdot 1 + \sum_{i = 1}^{n} {\hat{W}}_{i} {\hat{x}}_{i})

$z = \sigma(\hat{W}\hat{x}) = \sigma\left(\sum_{i=0}^n \hat{W}_i \hat{x}_i\right) = \sigma\left(\color{red}{\hat{W}_0 \cdot 1} + \sum_{i=1}^n \hat{W}_i \hat{x}_i\right)$

循环网络层基本相同。没有偏差，输出 $z_t$ 是（谁）给的

z_{t} = σ (W x_{t} + V z_{t - 1})

$z_t = \sigma(Wx_t + Vz_{t-1})$ 在哪里

V

$V$ 是将隐藏层的先前状态连接到当前状态的权重数组。添加偏差使循环层具有以下形式：

z_{t} = σ (W x_{t} + V z_{t - 1} + b) .

$z_t = \sigma(Wx_t + Vz_{t-1} + \color{red}{b}).$

其它你可能感兴趣的问题

上一篇关于统计咨询的书籍推荐下一篇多维动态时间规整