在 LDA 的单词采样步骤中，单词计数用作多项式分布的权重。通过其 IDF 重新加权 TF 将不成比例地增加稀有词被采样的机会，使它们在主题分配中具有更强的影响力。但是稀有词出现在所有文档和主题中的概率同样低，因此会拉平每个文档的主题分布。

这也是为什么建议在运行 LDA 之前删除停用词的原因。

对于主题建模，我测量了主题内余弦距离，并用它来优化派生主题的数量。对于每个主题，测量成对余弦距离——>取平均值。然后对于所有主题，取所有向量之间（在一个主题内）的成对余弦距离的相应平均值的平均值。这将是您的指标。在迭代不同数量的主题时测量此值，您应该注意到肘曲线，它准确地告诉您在哪里减少主题数量。

重要的是要知道您可以通过使用网格搜索和交叉验证来获取您正在寻找的参数的值。查看Scikit Learn上的文档，了解如何找到拟合模型的最佳参数并确定它是否有用。