是充分统计的期望小号( X)S(X)在指数族中横穿整个空间?

机器算法验证 数理统计 参考 时刻 指数族 几何学
2022-04-03 08:11:01

指数族使用两种成分定义: - 基本密度q0(x) - 一些足够的统计数据Si(x)

族是所有概率密度,可以写成:

q(x|(λ)i)q0(x)exp(iλiSi(x))

众所周知,参数之间的关系(λi)和充分统计的期望值:

Eq(Si(x)|(λi))=Si(x)q0(x)exp(iλiSi(x))dxq0(x)exp(iλiSi(x))dx
是双射。

我的问题是这种双射是否进一步达到“所有可能的值”Eq(Si(x)|(λi)). 在我最初的问题中,我对这个“所有可能的值”的集合给出了一个非常糟糕的定义,这使得我的问题的答案有点微不足道,不。

要定义“所有可能的值”,我们必须考虑向量值函数的图像:

xS(x)

一个值Rd可以通过期望值达到S在概率密度下p(x)当且仅当它在图像的凸包内S.

那么问题来了:S指数族内部也具有跨越图像的整个凸包的性质S?

这里有两个例子:

n维高斯族:充分统计量都是一阶矩和二阶矩。事实上,所有第一和第二时刻都可以通过高斯到达。

指数族:

q(x|λ)=exp(|x|+λx2)

没有达到第二个时刻的所有值:超过上限的值λ=0没有达到。

第二个例子让我觉得问题会出现在尾巴上,如果它们发生的话,但也许这种直觉是错误的。

1个回答

对 OP 的简短回答

不一定,这取决于扩展凸锥是否通过改变λi在您的参数空间范围之外可以覆盖整个平均参数空间。一种情况是您的指数模型被过度参数化,您无法通过改变来“填充”整个空间λ的; 另一种情况是你的指数族是弯曲的,这样的尝试也失败了。另请参阅我的答案这里

我真的不想把这个答案变成对平均参数空间的阐述(也许是 [Brown],但远未完成),但根据后续的讨论,这似乎是不可避免的。我真的不知道是否有专门讨论平均参数空间的论文,但平均参数空间给出了概率测度族的自然表示,因此在凸分析中很方便。在大多数统计应用中,可微性对于现实来说太强了。

当其他假设微不足道或过于复杂而无法形式化时,通常只假设可微性 wrt 参数保证某种一致性。例如引导方法

连续性 wrt 参数是一个相当温和的假设,即使收集的数据似乎是离散的,我们有时也想假设它。连续性将允许进行某种局部推理,但某些优化技术失去了作用。例如最快梯度法。

Convexity wrt parameters 是三个假设中最弱的假设,但即使如此,我们也不总是想假设。例如凹损失函数。

引入平均参数空间是为了给“凸族”一个有用的表示。后来在正性[Karlin]的研究中,发现平均参数空间和pms族之间的对偶性非常有用。还有其他动机,例如来自凸分析的 Frenchel 对偶性,这解释了我们研究平均参数空间的原因。但是你可以看到,在希尔伯特空间之后,通常会引入某种次梯度来对凸空间进行建模。

现在我们解释为什么平均参数空间很重要。为凸锥定义双锥CRn+1 C+:={vRn+1:<v,u>≥0,uC}对于一个特殊情况,卡林-沙普利表示定理[Karlin&Shapley]告诉我们,与族相关的矩空间对偶锥的极端射线/点正好位于参数空间的边界。

如果充分统计,充分家庭能达到什么样的价值?S(X)也是完整的,并且与参数空间具有相同的维度, 这意味着指数族的结构是线性的,那么我相信只要参数空间没有退化边界,期望ES(X)足够的统计量可以横断所有值。从几何学的角度来看,只有当双锥退化时,才能横穿整个空间,达到所有“可能的值”ES(X)可能有。

当它不完整或过度参数化或弯曲时,我不确定。

在你的第二个例子中,矩空间的双锥实际上是一个严格的锥,而在第一个例子中是一个退化锥(整个R×R,想象一下圆锥的直径趋于)。但我仍然不清楚你是如何达到你声称的结果的。

参考

[Brown]Brown, Lawrence D. “统计指数族的基础知识在统计决策理论中的应用”。讲义-专着系列 9 (1986): i-279。

[卡林]卡林,塞缪尔。总体积极性。卷。1. 斯坦福大学出版社,1968 年。

[Karlin&Shapley]Karlin、Samuel 和 Lloyd S. Shapley。矩空间的几何。第 12 号。美国数学学会,1953 年。