机器算法验证 - 对数似然期望的目的 - 吾爱随笔录

机器算法验证最大似然

2022-03-31 02:40:29

学习 MLE 涉及对数似然的优化，这使我们能够获得观察某个样本的“最佳”theta 值。

那么显示相同的估计器最大化对数似然的期望的目的是什么？我们是否认为既然它最大化了对数似然，那么添加期望（均值）肯定不会真正增加任何价值？

谢谢！

1个回答

最大似然估计是最大化程序因此它是一个随机变量，因为它取决于样本的一种实现。使用最大似然估计器的理由是，由于参数的真实值（即~ 生成背后的一个值）是并且因为

\hat{θ} (z_{1}, \dots, z_{n})

$\hat\theta(z_1,\ldots,z_n)$

\begin{matrix} (1) & \arg max_{θ} \sum_{i = 1}^{n} \log {f_{Z} (z_{i}; θ)} \end{matrix}

$\arg\max_\theta\sum_{i=1}^n \log \{f_Z(z_i;\theta)\}\tag{1}$

(Z_{1}, \dots, Z_{n})

$(Z_1,\ldots,Z_n)$

θ_{0}

$\theta_0$

(z_{1}, \dots, z_{n})

$(z_1,\ldots,z_n)$

\begin{matrix} (2) & θ_{0} = \arg max_{θ} E_{θ_{0}} [\log {f_{Z} (Z; θ)}] \end{matrix}

$\theta_0 = \arg\max_\theta \mathbb E_{\theta_0}[\log \{f_Z(Z;\theta)\}]\tag{2}$

\frac{1}{n} \sum_{i = 1}^{n} \log {f_{Z} (z_{i}; θ)} \approx E_{θ_{0}} [\log {f_{Z} (Z; θ)}]

$\frac{1}{n}\sum_{i=1}^n\log \{f_Z(z_i;\theta)\} \approx \mathbb E_{\theta_0}[\log \{f_Z(Z;\theta)\}]$ 由于大数定律，(1) 和 (2) 的解应该是接近的：

\hat{θ} (z_{1}, \dots, z_{n}) \approx θ_{0}

$\hat\theta(z_1,\ldots,z_n)\approx\theta_0$ （当然可以严格表示）。

其它你可能感兴趣的问题