那么 LSTM 有什么问题呢?

数据挖掘 神经网络 nlp lstm rnn
2021-10-11 03:27:01

我正在扩展我对 Keras 包的知识,并且我一直在使用一些可用的模型进行工具化。我有一个 NLP 二进制分类问题,我正在尝试解决并且一直在应用不同的模型。

在处理了一些结果并阅读了越来越多关于 LSTM 的内容之后,这种方法似乎远远优于我尝试过的任何其他方法(跨多个数据集)。我一直在想,“为什么/什么时候使用 LSTM?”。在拥有一些遭受梯度消失的模型之后,使用 LSTM 固有的附加门对我来说非常有意义。

那么 LSTM 有什么问题呢?他们哪里做得不好?我知道没有“一刀切”的算法,所以 LSTM 肯定有缺点。

1个回答

你是对的,LSTM 在某些问题上工作得很好,但其中一些缺点是:

  • LSTM 需要更长的时间来训练
  • LSTM 需要更多内存来训练
  • LSTM 很容易过拟合
  • Dropout 在 LSTM 中更难实现
  • LSTMs 对不同的随机权重初始化很敏感

例如,这些是与一维卷积网络等更简单的模型进行比较的。

前三项是因为 LSTM 有更多的参数。