机器算法验证 - 的贝叶斯回归- 后验是否明确？(X'X)(X′X) - 吾爱随笔录

SE社区，我希望对以下问题有所了解。给定一个简单的线性回归模型在具有同方差误差项的高斯似然函数下，因变量的条件分布采用和分配了一个条件（无信息）共轭先验是。一个标准的结果是，β 的边际后验分布多元 t 与

Y = X β + ϵ, where Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y | β, h \sim N (X β, h^{- 1} I) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

β

$\beta$

h

$h$

β | h \sim N (0, c I), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ 如果是单数会发生什么？在标准回归中，我会选择广义的 Moore-Penrose Pseudoinverse而不是使用。然而，在这种情况下，后验方差也会是奇异的，我怀疑 -Distribution 仍然是明确定义的。这个对吗？

(X^{'} X)

$(X'X)$

(X^{'} X)^{+}

$(X'X)^+$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$

t

$t$

甚至更让我分心：假设我对的后验分布并不真正感兴趣，而只是一个线性组合其中，和。我将能够从该分布中采样，尽管它的构造是基于一些没有真正定义的东西（的分布）。有没有办法处理这个？还是我的问题中有一个根本性的错误使我的整个观点都过时了？ $\beta$ $z:=A\beta$ $A\in\mathbb{R}^{N-1 \times N}$ $|A\hat{\Sigma}A'|\neq 0$ $\beta$