我想知道初始化 LSTM 状态的最佳方法是什么。目前我只是将它初始化为全零。我真的无法在网上找到有关如何初始化它的任何信息。我正在考虑做的一件事是使初始状态成为可训练的参数。有什么建议吗?
初始化 LSTM 状态的最佳方法
机器算法验证
神经网络
lstm
2022-03-08 07:17:34
2个回答
通常,您会将初始状态设置为零,但网络将学习适应该初始状态。
以下文章建议学习初始隐藏状态或使用随机噪声。
基本上,如果您的数据包含许多短序列,那么训练初始状态可以加速学习。
或者,如果您的数据包含少量长序列,则可能没有足够的数据来有效地训练初始状态。在这种情况下,使用嘈杂的初始状态可以加速学习。他们没有提到的一个想法是学习噪声发生器的均值和标准差。
文章指出,如果您选择学习初始状态,那么添加噪声几乎没有什么好处。
您可以使用通过迁移学习学习的初始化参数,但请记住,它也是从非学习的初始化状态开始的。基本上,你必须从某个点开始,通常是一堆零,然后通过训练来完善。因此,如果您不使用任何迁移学习机制,您还必须从手动初始状态开始,我相信可能有文献可用于手动设置初始状态。
这是我能提出的最简单的解释。谢谢你。
其它你可能感兴趣的问题