为什么我们需要在一个层中有多个 LSTM 单元?

人工智能 机器学习 深度学习 长短期记忆
2021-11-17 12:26:39

在单层中有多个 LSTM 单元有什么意义?

当然,如果我们有一个单元,它应该能够捕获(记住)所有数据,并且在同一层中使用更多单元只会使其他单元学习完全相同的历史特征?

我什至以经验证明自己在单层中使用多个 LSTM 可以提高性能,但在我看来这仍然没有意义,因为我看不出其他单元正在学习其他单元没有学习到什么?这类似于我们在单个 CNN 层中使用多个过滤器的方式吗?

1个回答

让我们写下斐波那契!

K = 0 1 1 2 3 5 ...

还有另一个衍生自 Fibo 的系列;

X = 1 4 7 12 30X5

猜测X5是我们的任务,您可以使用这两个系列(斐波那契作为附加功能)。

您使用X提供的一个单元将尝试捕获XX-1 只有;

X=X-1+X-2

但是,您插入并输入K的附加单元不仅会尝试捕获ķķ-1关系,但也是之间的关系ķX.

ķ=ķ-1+2*X+1

在上面的示例中,两者之间存在明显的相关性ķX(并非总是如此),它将支持网络捕获顺序关系。甚至 CORRELATION 也不是很清楚,几乎每个附加的特征数据都与其他特征相关,并将支持网络抓取关系。