估计具有已知稀疏性的稀疏逆协方差矩阵

机器算法验证 贝叶斯 线性模型 参考
2022-03-16 21:58:03

分布的协方差矩阵的逆矩阵对于哈密顿蒙特卡罗分布的质量矩阵可能是一个很好的值。

如果所讨论的分布是贝叶斯图模型的后验分布,则许多或大部分变量将在条件上相互独立。因此,对于这些变量对,协方差矩阵的逆矩阵将具有零。您可以通过检查模型图找出矩阵的稀疏模式。

我想有效地估计分布的协方差矩阵的逆,给定分布中的一些 IID 样本,并假设我们知道它的稀疏模式。

对于我们试图推断稀疏模式的更一般的情况,这个问题似乎得到了很好的研究。例如,这篇论文被广泛引用并借鉴了许多其他论文。但是,我不知道处理已知稀疏模式的情况的论文。任何指针?

1个回答

在给定逆协方差矩阵限制的情况下估计协方差矩阵当然是一个经过充分研究的问题。将某些条目限制为 0 是正半定矩阵锥中的线性限制的一个示例。

如果分布是多元正态分布,则逆协方差矩阵是指数族框架中的规范参数,并且对于该特定示例,可以使用在对指数族规范参数的线性假设下估计参数的方法。对于可分解图,估计方程是递归可解的,否则迭代算法将起作用。

Steffen Lauritzen的《图形模型》一书(特别是第 5 章)提供了所有细节,但如果仅对(逆)协方差矩阵的估计感兴趣,则可能还有太多细节。速度和 Kiiviri 的有限图上的高斯马尔可夫分布 论文更直接地针对 OP 的问题,我相信它非常具有可读性。