我应该使用多少个 LSTM 单元?

数据挖掘 rnn
2021-10-07 01:54:32

关于我应该使用的 LSTM 单元的最小、最大和“合理”数量,是否有任何经验法则(或实际规则)?具体来说,我与TensorFlow 和property中的BasicLSTMCell有关。num_units

请假设我有一个由以下定义的分类问题:

t - number of time steps
n - length of input vector in each time step
m - length of output vector (number of classes)
i - number of training examples

例如,训练示例的数量是否应该大于:

4*((n+1)*m + m*m)*c

c细胞数在哪里?我基于此:如何计算 LSTM 网络的参数数量?据我了解,这应该给出参数的总数,应该少于训练示例的数量。

1个回答

训练示例的最少数量是您所拥有的:

4(nm+n2)

有关更多信息,请参阅本文:如果您需要一些视觉帮助,请参阅此链接: LSTM 模型中的参数数量

堆栈的每一层中的单元数量可以变化。例如,在 Tensorflow 的 translate.py 中,它可以配置为 1024、512 或几乎任何数字。可以通过交叉验证找到最佳范围。但是我在堆栈的每一层都看到了 1000 和 500 个单元。我个人也用较小的数字进行了测试。