机器算法验证 - 寻找 EM 算法的 Q 函数 - 吾爱随笔录 - 问答

寻找 EM 算法的 Q 函数

机器算法验证正态分布期望最大化

2022-04-17 14:20:13

我的情况是来自并且实现了 10 个值。我想使用 EM 算法来计算 MLE。 $X_1,...X_n$ $N(\mu,1)$ $x$

因此，我正在尝试计算预期的条件对数似然（Q 函数）。这是由

Q (μ, μ_{n}) = E [l o g (f (X | μ) | μ_{n})]

$Q(\mu,\mu_n)=E[log(f(X|\mu)|\mu_n)]$

方差 = 1 的正态分布的对数似然由下式给出

\frac{- n}{2} l n (2 π) - \frac{1}{2} \sum (x_{i} - μ)

$\frac{-n}{2}ln(2\pi) - \frac{1}{2}\sum(x_i-\mu)$

因此，将其代入上面的等式，我们得到

Q (μ, μ_{n}) = \frac{- n}{2} l n (2 π) - \frac{1}{2} E [\sum (x_{i} - μ) | μ_{n}]

$Q(\mu,\mu_n) = \frac{-n}{2}ln(2\pi) - \frac{1}{2}E[\sum(x_i-\mu) | \mu_n]$

从这一点开始，我不确定如何进行，甚至不确定我是否朝着正确的方向前进。

1个回答

从维基百科逐字引用

在无法直接求解方程的情况下，EM 算法用于查找统计模型的（局部）最大似然参数。通常，这些模型除了未知参数和已知数据观察之外还涉及潜在变量。也就是说，要么数据中存在缺失值，要么可以通过假设存在更多未观察到的数据点来更简单地制定模型。例如，可以通过假设每个观察到的数据点具有相应的未观察到的数据点或潜在变量来更简单地描述混合模型，从而指定每个数据点所属的混合分量。

当考虑正态似然时，

最大似然方程可以直接求解
没有明显的隐变量缺失数据结构，这样和当然，创建 (1) 的方法有无数种，例如或并且可以尝试将 EM 应用于此类完成，但没有理由 EM在这种情况下是可以管理的。（注意：它适用于（2）。） $Z$ $\begin{matrix} (1) & \int_{Z} f (x, z; μ) d z = φ (x; μ) \end{matrix}$ $\int_\mathcal Z f(x,z;\mu)\,\text{d}z = \varphi(x;\mu) \tag{1}$ $f (x, z; μ) = I_{(0, φ (x; μ))} (z)$ $f(x,z;\mu)=\mathbb I_{(0,\varphi(x;\mu))}(z)$ $\begin{matrix} (2) & f (x, z; μ) = φ (x; μ) φ (z; μ) \end{matrix}$ $f(x,z;\mu)=\varphi(x;\mu)\varphi(z;\mu)\tag{2}$

作为旁注，维基百科的以下段落存在根本性的误解

寻找最大似然解通常需要对似然函数对所有未知值、参数和潜在变量求导，并同时求解得到的方程。

中最大化返回联合模式，这与边缘模式不同。 $(\theta,z)$

其它你可能感兴趣的问题

上一篇如果 n > 30，我们是否总是假设正态分布？下一篇对二元/多类分类的损失函数进行正则化是否有意义？