为什么在字符级自然语言处理模型中使用嵌入层

人工智能 自然语言处理 词嵌入
2021-10-29 01:03:41

问题背景

我正在处理一个需要字符级深度学习模型的问题。以前我使用的是词级深度 NLP(自然语言处理)模型,在这些模型中,几乎总是使用嵌入编码来以低维向量形式表示给定的词。此外,这种嵌入编码允许在新的低维向量表示中将相似的词放在自己附近(即,男人和女人向量在向量空间中靠近自己),从而改善了学习。尽管如此,我经常看到人们在字符级 NLP 模型中使用嵌入编码。即使字符级 one-hot 编码向量与字级 one-hot 编码向量(大约 36 到 32k 行)相比非常小。此外,字符之间没有太大的相关性,没有像“

问题 为什么在字符级 NLP 模型中使用嵌入编码?

0个回答
没有发现任何回复~