机器算法验证 - 估计学生 t 分布的参数 - 吾爱随笔录

估计学生 t 分布的参数

机器算法验证估计最大似然 t分布

2022-02-03 07:10:03

学生 t 分布参数的最大似然估计量是多少？它们是否以封闭形式存在？快速谷歌搜索没有给我任何结果。

今天我对单变量案例感兴趣，但可能我必须将模型扩展到多个维度。

编辑：我实际上最感兴趣的是位置和比例参数。现在我可以假设自由度参数是固定的，以后可能会使用一些数值方案来找到最优值。

4个回答

T 不存在封闭形式，但一种非常直观且稳定的方法是通过 EM 算法。现在因为学生是法线的比例混合，你可以把你的模型写成

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

其中和。这意味着在条件下， mle 只是加权平均值和标准差。这是“M”步 $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

现在“E”步骤用给定所有数据的期望这是给出的： $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

因此，您只需重复上述两个步骤，将每个方程的“右手边”替换为当前参数估计值。

这很容易显示 t 分布的稳健性属性，因为具有大残差的观测在位置的计算中的影响有限。估计值的贡献不能超过给定阈值（这是）。也是一个“鲁棒性”参数，因为增加（减少）将导致更多（更少）均匀的权重，因此对异常值更敏感（更少）。 $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

需要注意的一点是，对数似然函数可能有多个固定点，因此 EM 算法可能会收敛到局部模式而不是全局模式。当位置参数开始太靠近异常值时，可能会发现局部模式。因此，从中位数开始是避免这种情况的好方法。

以下论文正好解决了您发布的问题。

Liu C. 和 Rubin DB 1995。“使用 EM 及其扩展、ECM 和 ECME 对 t 分布进行 ML 估计。” 统计学五：19—39。

它提供了一个通用的多元 t 分布参数估计，无论是否了解自由度。该过程可以在第 4 节中找到，它与概率论逻辑的一维非常相似。

我怀疑它是否以封闭形式存在：如果您将可能性的任何一个因素写为并取其中的 ln，您将在中得到一个非线性方程。即使你设法得到一个解决方案，然后根据因子（项）的数量，MLE 方程将以非平凡的方式依赖于这个。当然，当

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$ ，当功率接近指数（高斯 PDF）时。

是否存在学生 t 分布的封闭式最大似然估计量？现在的答案是肯定的！！在 COVID 大流行期间，我深入研究了这个问题，并发现了一种我称之为独立逼近器 (IA) 的方法。这种新算法提供了位置、尺度和形状的封闭式估计，可实现最大似然估计。该方法通过按近似相等的对和三元组过滤样本来工作。IA 对作为原始分布的归一化平方分布，并保证具有定义的均值。IA-triplets 作为原始分布的归一化立方体分布，保证具有有限的二阶矩，并用于估计尺度。最后用几何平均来估计尺度，

试试看。我很想获得有关这种新方法的反馈。Mathematica 代码可在引用的 Github 存储库中找到。

“独立近似能够对重尾分布进行封闭式估计”

https://arxiv.org/abs/2012.11026

2018年的原始答案：

我最近发现了一个用于学生 t 分布规模的封闭式估计量。据我所知，这是一个新的贡献，但我欢迎提出任何相关结果的评论。该论文在一系列“耦合指数”分布的背景下描述了该方法。学生 t 称为耦合高斯，其中耦合项是自由度的倒数。封闭式统计量是样本的几何平均值。假设耦合或自由度的值，通过将样本的几何平均值乘以涉及耦合和谐波数的函数来确定尺度的估计。

https://arxiv.org/abs/1804.03989 使用几何平均值作为耦合高斯分布尺度的统计量，Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

其它你可能感兴趣的问题

上一篇使用 Adam Optimizer 解释训练损失与迭代中的峰值下一篇回归中岭正则化的解释