我正在尝试使用翻译或文本摘要的玩具实现。我现在明白,大多数人在使用任何模型之前都会使用嵌入层,这会产生类似于 300 维向量的东西。但是模型输出了什么?就像编码器-解码器模型一样,它的输入是这些向量的序列。那么最后一层解码器出来的是什么呢?不像事件提取或类似的东西,我们将其分类为少数类。
所以我的核心问题是:输出也是一个300维的向量,然后我必须根据最相似的词向量生成词吗?或者它是原始单词空间中单词的索引?在第二种情况下,网络正在分类超过 100000 个类?
而且,是否有任何现有的包支持这种“反向嵌入到单词”?
我没有在网站上看到任何类似的问题。如果是,请将其标记为重复。
任何帮助,将不胜感激。