FastText 模型解释

数据挖掘 nlp ngram 快速文本
2022-02-09 22:01:34

我正在阅读 FastText论文,我对用于分类的模型有一些疑问。由于我不是 NLP 背景,有些我不熟悉行话。在图中,具体是什么X一世? 我不确定是什么ñngram 特征的意思。如果我的文件有总大号的话,那么我怎么能用ñ变量(X1,..,Xn)? 究竟是什么ñ? 在此处输入图像描述

-1ñn=1ñ是的n日志(F(一种Xn))
如果是的n是标签,那么在softmax之后将它与输出向量相乘有什么意义(标签就像0,1,2,3,..)?作者的意思是我们采取是的n- 损失计算中输出向量的第一个分量?

1个回答

这个公式是有意义的,如果是的n是表示类的 one-hot 编码标签的行向量,乘法是与单列矩阵lG(F(一种Xn))表示 softmax 函数给出的所有类别的对数似然F.

至于Xn,它当然也必须是一个向量,代表ñ-克在n-th 文件。