数据挖掘 - 关于最大似然，当我们将最大化问题转化为最小化问题时，为什么我们取负数？ - 吾爱随笔录

数据挖掘逻辑回归

2021-09-19 12:48:25

在第 12 页，我们采取 $log$ 两边。

$\max_{\boldsymbol{w}}L\boldsymbol({w})=\max_{w}\displaystyle\prod_{n=1}^Np(t^{(i)}|x^{(i)};\boldsymbol{w})$

$\ell(\boldsymbol{w})=-logL(\boldsymbol{w})$

$\ \ \ \ \ \ \ =-\displaystyle\sum_{i=1}^Nlog\ p(t^{(i)}|x^{(i)};\boldsymbol{w})$

这 $log$ 函数随着增加 $\boldsymbol{w}$ 增加。为什么我们必须采取消极态度？

1个回答

通常将优化问题定义为最小化问题而不是最大化问题。并通过将您的目标函数与 $-1$ 您可以将一个转换为另一个：

max_{w} \log L (w) \Leftrightarrow min_{w} - l o g L (w)

$\max_{w} \log{L(w)} \Leftrightarrow \min_{w} -log{L(w)}$

所以为了最大化对数似然，你最小化负对数似然。基本上它只是归结为优化理论中的约定。

此外，由于 $L(w) \in [0,1]$ 它的对数 $\log{L(w)}$ 将小于或等于 $0$ （注意 $log{0}$ 没有定义）。因此 $\max_{w} \log{L(w)}$ 意味着最大化一个负数，至少对我来说，它不如最小化一个正数那么直观。

更有趣的部分实际上是对数转换，它增加了计算的数值稳定性（因为它将乘法“转换”为和，从而降低了下溢的风险）。

其它你可能感兴趣的问题