嵌入层和自动编码器有什么区别?

数据挖掘 nlp word2vec 词嵌入 降维 嵌入
2021-10-02 06:56:13

我正在阅读有关嵌入层的信息,特别是应用于 NLP 和 word2vec,它们似乎只不过是自动编码器用于降维的应用。它们不同吗?如果是这样,它们之间有什么区别?

2个回答

实际上它们是 3 个不同的东西(嵌入层、word2vec、自动编码器),尽管它们可以用来解决类似的问题。(即数据的密集表示)

自动编码器是一种神经网络,其中输入和输出是相同的,但在隐藏层中,为了获得更密集的数据表示,会降低维度。

Word2vec 仅包含 1 个隐藏层,但输入是邻域词,输出是词本身(或相反)。所以它不能是自动编码器,因为输入和输出不同。

嵌入层只是神经网络中的一个“简单”层。你可以把它想象成一个字典,其中一个类别(即单词)被表示为一个向量(数字列表)。向量的值是通过反向传播网络的误差来定义的。

嵌入层,用于自动编码器中构造 word2vec。

嵌入层,是一种用于深度学习的层。你可以在这里找到其他人。自动编码器是一种使用嵌入层的架构。使用这些架构,可以计算 word2vec。word2vec 值是在将单词输入自动编码器时计算的。