我正在寻找一个程序,可以让我在我的数据集上微调预训练的词嵌入。理想情况下,开源并在 Linux 或 Windows 上工作。
在我的数据集上微调预训练词嵌入的程序
数据挖掘
nlp
词嵌入
软件推荐
2022-02-25 07:14:27
2个回答
虽然我不知道专门用于调整受过训练的词嵌入的软件,但如果您能弄清楚哪些部分可以针对微调部分进行修改(这只是我脑海中的一个想法),也许以下开源软件可能会有所帮助- 我对细节不太熟悉):
GloVe:词表示的全局向量(斯坦福 NLP 组软件的一部分);
GitHub 上用于基于深度学习的词嵌入训练的代码;
上面提到的神经概率语言模型工具包(也是基于深度学习的)。
如果您使用 SGNS 或 CBOW,https: //radimrehurek.com/gensim/将让您继续在不同的语料库上训练预训练模型,如果这就是微调的意思。
其它你可能感兴趣的问题