我正在阅读有关嵌入层的信息,特别是应用于 NLP 和 word2vec,它们似乎只不过是自动编码器用于降维的应用。它们不同吗?如果是这样,它们之间有什么区别?
嵌入层和自动编码器有什么区别?
数据挖掘
nlp
word2vec
词嵌入
降维
嵌入
2021-10-02 06:56:13
2个回答
实际上它们是 3 个不同的东西(嵌入层、word2vec、自动编码器),尽管它们可以用来解决类似的问题。(即数据的密集表示)
自动编码器是一种神经网络,其中输入和输出是相同的,但在隐藏层中,为了获得更密集的数据表示,会降低维度。
Word2vec 仅包含 1 个隐藏层,但输入是邻域词,输出是词本身(或相反)。所以它不能是自动编码器,因为输入和输出不同。
嵌入层只是神经网络中的一个“简单”层。你可以把它想象成一个字典,其中一个类别(即单词)被表示为一个向量(数字列表)。向量的值是通过反向传播网络的误差来定义的。
嵌入层,用于自动编码器中构造 word2vec。
嵌入层,是一种用于深度学习的层。你可以在这里找到其他人。自动编码器是一种使用嵌入层的架构。使用这些架构,可以计算 word2vec。word2vec 值是在将单词输入自动编码器时计算的。