LSTM：什么是WXWx&üzUz在中？φ (WX+üz+ b )φ(Wx+Uz+b)

数据挖掘 神经网络 深度学习 rnn
2022-03-09 13:08:35

阅读与循环神经网络的乘法积分

尽管它们的特性各不相同，但它们中的大多数 (RNN) 共享一个共同的计算构建块，由以下等式描述： ，其中和是来自不同信息源的状态向量,和是状态到状态转换矩阵，是偏置向量。φ(Wx+Uz+b)x∈Rnz∈RmW∈Rd×nU∈Rd×mb

不明白和的含义。我知道是典型的权重......这个等式是什么意思？WxUzW

1个回答

如果您深入了解 LSTM 或 GRU，我们会观察到门（输入、输出、单元或基于 RNN 的遗忘）是使用您指定的等式计算的。

例如，根据lstm 的深度学习教程，i t =sigma(W i x t + U i h t-1 + b i )其中，h 是隐藏状态向量，x 是指定的输入状态向量，W和 U 是输入门 i t的相应权重。同样，也有输出和遗忘的门。因此，在论文中，他们回顾了 RNN 的要点并将其总结为一个通用方程。尽管存在细微差别，但它是 RNN 中的常见计算块。

参考Colah 的博客或wildml，我认为它们是理解 RNN 的最佳方法之一。

其它你可能感兴趣的问题
上一篇预测出生年龄 下一篇您如何定义探索数据的步骤？