样本协方差矩阵的收缩

机器算法验证 估计 期望值 期望最大化 损失函数 正则化
2022-04-12 12:12:37

假设我们有 N 个独立且同分布的随机向量X1,X2,...,XN其中每个的大小为 p×1. 样本协方差矩阵,这里表示为S, 计算为(1/N)XX在哪里X现在是一个矩阵Xi作为列,i=1,2,...,N.

众所周知,S,没有结构,无偏但有很多估计误差(病态)。此外,Sp>=N.

所以显而易见的想法是尝试通过缩小无偏协方差矩阵S朝向通常称为“收缩目标”的有偏差(方差较小)的结构化协方差。收缩公式可表示为:

                                                              (1α)S+αF

在哪里α是收缩强度(介于 0 和 1 之间),并且F是收缩目标。在收缩中,最具挑战性的部分是如何(自动)计算收缩强度。因此,继 Ledoit 和 Wolf 在 2003 年的文章“改进股票收益协方差矩阵的估计以及在投资组合选择中的应用”之后,他们根据 Frobenius 距离在最小化某个损失函数后计算了自动最优收缩强度。

好,很好!我现在的问题来自这篇文章。在第 8 页,我想知道他们是如何计算的[E(αfij+(1α)sijδij]2. 好的,在文章中,他们使用单索引模型作为收缩目标F. 但事实上,让我们计算这个一般收缩目标的平方期望值。我只是想知道他们是如何计算这个平方期望的(在他们进行推导之前,我只是对第 8 页中的这个期望感兴趣α)...

请任何帮助将非常非常感谢!

1个回答

他们评估的有

E[(αf+(1α)sσ)2],
(请注意,这与您在问题中所写的内容不同)给您的位置
E[f]=ϕ,E[s]=σ.

他们通过写作来评估这一点

αf+(1α)sσ=:X,
并使用身份
E[X2]=V[X]+(E[X])2.
自从ϕσ这里是常数,
V[X]=α2V[f]+(1α)2V[s]+α(1α)Cov[f,s],
E[X]=α(ϕσ)
由于E[f]=ϕ,E[s]=σ,以及通常的总和方差公式。

将此推广到任何其他ϕ,请注意,它们的矩阵没有任何属性F,S,Σ实际上正在使用:这只是随机变量的身份f,s和他们的手段ϕ,σ. 没关系ϕ是单位矩阵元素或其他东西。