数据挖掘 - 的作用是什么W一个_,W一个_,W是的Wax,Waa,Way在RNN中的前向传播？它们是超参数吗？为什么需要它们？ - 吾爱随笔录

的作用是什么W一个_,W一个_,W是的Wax,Waa,Way在RNN中的前向传播？它们是超参数吗？为什么需要它们？

数据挖掘神经网络 lstm rnn

2022-03-10 10:34:42

在 Coursera 序列模型课程的 RNN 介绍中，介绍了 RNN 中前向传播的以下公式。的作用到底是什么？他们在做什么？ $W_{ax}, W_{aa}, W_{ay}$

在讲座中，有人说：

$W_{ax}$ ：控制从到隐藏层的连接的参数（不确定这到底是什么意思：如果它不受控制会发生什么？） $x$
$W_{aa}$ ：管理激活（为什么要管理激活？如果没有管理会发生什么？）
$W_{ay}$ 控制输出预测（控制它的意义何在？如果它不受控制会发生什么？）

在标准神经网络中，这些是前向传播的公式

z_{1} = w_{1} X_{1} + b_{1} A_{1} = g (Z_{1})

$z_1 = w_1 X_1+b_1 \\ A_1 = g(Z_1)$ 考虑只有 4 层然后最后一层我能将这些方程与相关联，但我无法将中以黄色突出显示的角色相关联。请用非常简单的术语解释标准 RNN 中在前向传递中的工作是什么。

z_{4} = w_{4} X_{4} + b_{4} A_{4} or \hat{y} = g (z 4)

$z_4 = w_4X_4 + b_4 \\ A_4 \text{ or } \hat{y} = g(z4)$

a^{< 1 >}

$a^{<1>}$

W_{y a}

$W_{ya}$

{\hat{y}}^{< 1 >}

$\hat{y}^{<1>}$

W_{a x}, W_{a a}, W_{a y}

$W_{ax}, W_{aa}, W_{ay}$

2个回答

不要在这里挂断“治理”这个词。 $W_{ax}$ , $W_{ay}$ 和 $W_{aa}$ 只是权重，原则上它们在前馈网络中扮演相同的角色（除了前馈网络没有 $W_{aa}$ ):

$W_{ax}$ 是从输入层到第一个隐藏层的权重（就像它们在前馈网络中一样）
$W_{ay}$ 是从最后一个隐藏层到输出层的权重（就像它们在前馈网络中一样）
$W_{aa}$ 是从隐藏状态馈送时应用于隐藏状态的权重 $t$ 到 $t+1$ （这是您在前馈网络中没有的，因为它们不会随时间传播）

您还可以在深度学习书的相应章节中阅读更多相关信息，我认为这对 RNN 提供了很好的解释。

编辑（根据您的评论）：

在前馈网络中，您将拥有 $\hat{y} = g(W_{ay}\text{ }a+b_y)$ 而你的 RNN 有 $\hat{y}^{<i>} = g(W_{ay}\text{ }a^{<i>}+b_y)$ （和 $i$ 作为时间步长的索引）。关于 RNN 中的输出层，这里真的没有什么新东西。在下图中，您可以看到权重应用于前馈网络和 RNN 中的哪些连接（为简单起见，我省略了偏差）：

@Sammy 下面是我在评论中提到的 2 张图片，因为我们的目标是找到 y，所以我无法找到 yhat =Way+b，Way(weights * y) 如何进入图片以预测 Y？

其它你可能感兴趣的问题

上一篇CV 分数曲线的一个凸起！这是什么意思？下一篇线性回归中一般使用 RMSE 而不是 MSE 的原因