嵌入层参数的计算涉及哪些方程?

数据挖掘 神经网络 深度学习 lstm rnn 词嵌入
2022-02-12 23:26:29

我正在尝试使用 keras 对一些数据进行情感分析。我使用的是嵌入层,然后是 LSTM。我知道嵌入层降低了单词的一种热编码的稀疏性,并且它的参数在反向传播时被训练,但我不知道它的实现数学。

提前致谢。

1个回答

与神经网络中的所有隐藏层一样,嵌入层可以被视为具有在训练期间自动学习的参数的特征提取器。因此,与任何其他层一样,参数在训练期间通过反向传播算法进行调整。

用于计算误差梯度和更新权重的特定方程可能取决于用于训练网络的优化器。经典的优化器是随机梯度下降,但现在更常用的是更复杂的优化器,如 Adagrad、RMSProp 和 ADAM。