机器算法验证 - 泰勒对数似然的展开 - 吾爱随笔录

泰勒对数似然的展开

机器算法验证数理统计可能性

2022-03-22 11:08:30

据我所知，泰勒展开式适用于固定函数。我想知道为什么在对数可能性上使用它是合理的。即使我们认为它只是一个函数 $\theta$ , 它是否有随着 n 增加而改变的分量（比如 $\sum X_i$ 例如）？说这样的话真的总是可以的吗

\begin{aligned} ℓ (θ) & = ℓ (\hat{θ}) + \frac{\partial ℓ (θ)}{\partial θ} |_{θ = \hat{θ}} (θ - \hat{θ}) + o (| \hat{θ} - θ |) \end{aligned}

$\begin{align*} \ell\left(\theta\right) & = \ell\left(\widehat{\theta}\right)+\frac{\partial\ell\left(\theta\right)}{\partial\theta}\Bigr|_{\theta=\widehat{\theta}}\left(\theta-\widehat{\theta}\right)+ o(|\widehat{\theta} - \theta|) \\ \end{align*}$ 请帮助我理解为什么以及何时我们可以做这样的事情。提前致谢！

3个回答

如果一个包括对符号的依赖 $n$ ：

\begin{aligned} ℓ_{n} (θ) & = ℓ_{n} ({\hat{θ}}_{n}) + \frac{\partial ℓ_{n} (θ)}{\partial θ} |_{θ = {\hat{θ}}_{n}} (θ - {\hat{θ}}_{n}) + o_{n} (| {\hat{θ}}_{n} - θ |^{2}) \end{aligned}

$\begin{align*} \ell_n\left(\theta\right) & = \ell_n\left(\widehat{\theta}_n\right)+\frac{\partial\ell_n\left(\theta\right)}{\partial\theta}\Bigr|_{\theta=\widehat{\theta}_n}\left(\theta-\widehat{\theta}_n\right)+ o_n(|\widehat{\theta}_n - \theta|^2) \\ \end{align*}$ 我们看到令人费解的地方是

n

$n$ - 依赖关系

o

$o$ .

一种获得近似值的严格方法 $n$ -独立的 $o$ ：

\begin{aligned} ℓ_{n} (θ) & = ℓ_{n} ({\hat{θ}}_{n}) + \frac{\partial ℓ_{n} (θ)}{\partial θ} |_{θ = {\hat{θ}}_{n}} (θ - {\hat{θ}}_{n}) + o (| {\hat{θ}}_{n} - θ |^{2}) \end{aligned}

$\begin{align*} \ell_n\left(\theta\right) & = \ell_n\left(\widehat{\theta}_n\right)+\frac{\partial\ell_n\left(\theta\right)}{\partial\theta}\Bigr|_{\theta=\widehat{\theta}_n}\left(\theta-\widehat{\theta}_n\right)+ o(|\widehat{\theta}_n - \theta|^2) \\ \end{align*}$ 是泰勒-拉格朗日不等式：如果你能够主修

ℓ_{n}^{″} \leq M

$\ell_n'' \leq M$ 均匀地分布在中（在适当的区间上），那么你可以通过 Taylor-Lagrange 不等式

n

$n$

o

$o$

严格来说，似然函数有两个组成部分：观测值和参数。当样本固定时，它通常被视为参数的函数，但您也可以在固定参数时将其行为作为随机变量来研究，并将其视为随机变量（不固定）的函数。

当样本固定时使用泰勒展开是合理的，即对应随机变量的实现。渐近行为是在一系列似然函数上研究的，以分析中的常用方式由样本大小索引。 $\ell_n(\theta)$

泰勒展开式的使用实际上很常见，因为它允许通过使用如下二阶展开式来构造似然性的正态近似：

\begin{aligned} ℓ (θ) & \approx ℓ (\hat{θ}) + \frac{\partial ℓ (θ)}{\partial θ} |_{θ = \hat{θ}} (θ - \hat{θ}) + \frac{\partial^{2} ℓ (θ)}{\partial θ^{2}} |_{θ = \hat{θ}} {(θ - \hat{θ})}^{2}, \end{aligned}

$\begin{align*} \ell\left(\theta\right) & \approx \ell\left(\widehat{\theta}\right) + \frac{\partial\ell\left(\theta\right)}{\partial\theta}\Bigr|_{\theta=\widehat{\theta}}\left(\theta-\widehat{\theta}\right) + \frac{\partial^2\ell\left(\theta\right)}{\partial\theta^2}\Bigr|_{\theta=\widehat{\theta}}\left(\theta-\widehat{\theta}\right)^2 , \\ \end{align*}$

第一项是固定的，第二项为零，因为它是在最大值处评估的。然后，

\begin{aligned} ℓ (θ) & \approx C + K {(θ - \hat{θ})}^{2}, \end{aligned}

$\begin{align*} \ell\left(\theta\right) & \approx C + K\left(\theta-\widehat{\theta}\right)^2, \\ \end{align*}$

最后在两边取指数：

\begin{aligned} L (θ) & \approx C^{'} \exp K {(θ - \hat{θ})}^{2} \end{aligned}

$\begin{align*} {\mathcal L}\left(\theta\right) & \approx C^{\prime}\exp K \left(\theta-\widehat{\theta}\right)^2 \\ \end{align*}$

这类似于正常密度的内核。是一个负常数，因为它是在 MLE 处评估的二阶导数。与任何其他功能一样，唯一的要求是可微性。 $K$

严格来说，这种表达没有先验意义。但它可以做得很精确。对数似然是参数空间上的一个随机函数（或者如果您处于渐近设置中，则为一系列随机函数）。可以肯定的是，对于该随机函数的给定实现，可以编写（对于样本大小） $n$

\begin{aligned} ℓ (θ) & = ℓ ({\hat{θ}}_{n}) + \frac{\partial ℓ (θ)}{\partial θ} |_{θ = {\hat{θ}}_{n}} (θ - {\hat{θ}}_{n}) + o (| {\hat{θ}}_{n} - θ |) \end{aligned}

$\begin{align*} \ell\left(\theta\right) & = \ell\left(\widehat{\theta}_n\right)+\frac{\partial\ell\left(\theta\right)}{\partial\theta}\Bigr|_{\theta=\widehat{\theta}_n}\left(\theta-\widehat{\theta}_n\right)+ o(|\widehat{\theta}_n - \theta|) \\ \end{align*}$

和你所拥有的完全一样。但除非你知道随机变量很小，例如概率为。换句话说，您需要 MLE 估计量是弱一致的。 $|\widehat{\theta}_n - \theta|$ $n \rightarrow \infty$

换句话说，

\begin{aligned} ℓ (θ) & = ℓ ({\hat{θ}}_{n}) + \frac{\partial ℓ (θ)}{\partial θ} |_{θ = {\hat{θ}}_{n}} (θ - {\hat{θ}}_{n}) + o_{p} (1) . \end{aligned}

严格来说应该是。在渐近设置中，对数似然是随机函数的序列，但通常 $l$ $l_n$ $n$

其它你可能感兴趣的问题

上一篇为什么与卡方相比，逻辑回归的功效分析如此自由？下一篇使用 ReLU + 交叉熵时如何避免 NaN？