有一个答案需要知道：尝试两种方法，然后选择效果最好的一种。我想说的是，通常预训练的嵌入通常会产生更好的结果。您还可以从预先训练的嵌入作为初始条件开始，并让嵌入可能以较小的学习率进行训练。

无论如何，文本分类的当前技术状态是 ULMFIT ( https://arxiv.org/abs/1801.06146 )，它实际上并没有做任何事情。它使用维基百科和目标文本中的语言模型对嵌入和 RNN 进行预训练，然后使用目标文本微调整个模型。

这取决于对训练数据的访问、计算预算和所需的性能水平。

从头开始训练嵌入将需要训练数据和计算资源。如果您可以同时使用这两种方法，那么后续监督学习模型的性能提高的机会就会增加。

使用预训练嵌入不需要训练，因此不需要训练数据或计算资源。这些嵌入对于特定的监督学习任务可能有用也可能没有用。

一种选择是采用预训练嵌入然后使用项目特定数据对其进行微调的混合方法。这具有使用预训练嵌入的所有优点，并且可以利用特定于任务的数据。这假设您可以访问必要的计算预算和技术技能。