数据挖掘 - 构造一个用于句子提取的最大熵分类器 - 吾爱随笔录

数据挖掘机器学习 nlp 文本挖掘梯度下降

2022-02-13 06:02:49

所以我正在阅读这篇使用max ent 分类器进行句子提取的论文。条件最大实体模型的参数形式为：

P (c | s) = \frac{1}{Z (s)} \exp \sum_{i} λ_{i} f_{i} (c, s)

$P(c|s) = \frac{1}{Z(s)} \exp \sum_i \lambda_if_i(c,s)$

其中是一个具有权重的特征。 $f_i(c,s)$ $\lambda_i$

现在，该论文指出共轭下降用于找到最佳权重集（第 3 页） - 这是我无法理解的。如何使用/应用共轭梯度下降来计算最佳权重集？

1个回答

共轭梯度下降是梯度下降的一种变体。梯度下降是一种通过采取措施减少数据和模型参数之间的误差来找到函数最小值的方法。共轭梯度下降通过搜索平面而不是直线来扩展梯度下降。该平面被定义为梯度向量和前一个下降步向量的线性组合。共轭梯度下降非常擅长找到一组稀疏线性方程的解。

梯度下降和变化是寻找最佳参数的一般方法。最佳实践是定义您的特定模型，然后调用单独的梯度下降包来搜索模型的最佳值（即超参数）。

其它你可能感兴趣的问题