如何计算监督学习中训练集的对数似然?

人工智能 机器学习 训练 优化
2021-11-11 13:10:17

我正在构建一个监督学习模型,我希望在最小验证错误点计算训练集的对数似然。

最初,我正在计算在最小验证错误点对训练集中的每个示例应用 softmax 后获得的最大值的所有概率的总和,但这看起来不正确。

对数似然的正确公式是什么?

1个回答

训练集的对数似然函数(通常,不是特别针对深度学习)将取决于您选择的损失函数。

我猜您正在对二元分类问题使用二次损失函数之类的东西,因为这是一种常见的方法。在这种情况下,对数似然是目标标签与模型产生的 softmax 值之间的平方差的对数总和。如果您想计算一组特定参数(例如,最小化验证错误的参数)下的对数似然,那么您只需在生成 softmax 值时在模型中使用这些参数。