机器算法验证 - 的分布Xx给定一个欠定系统A x = b ∼ N( 0 ,σ2我)Ax=b∼N(0,σ2I) - 吾爱随笔录

机器算法验证线性模型多元正态分布

2022-04-11 09:51:04

假设我有一个线性系统 $A{\bf x}={\bf b}$ 这样 $\bf b$ 是 IID 正态随机变量的向量，并且 $A$ 有维度 $n\times p$ 和 $p > n$ .

关于分布可以说什么 $\bf x$ ? 它必须来自多元正态分布吗？

由于系统未确定，因此一种可能的解决方案当然是 $\bf x$ 是多元正态的，但由于 $A^TA$ 是单数的，您无法明确解决 $\bf x$ 作为多元正态随机变量的总和。

我们确实有

A E x = 0

$A\mathbb{E}{\bf x}=0$

A Var (x) A^{T} = σ^{2} I

$A\text{Var}({\bf x})A^T=\sigma^2I$

因此的平均值 $\bf x$ 在于内核 $A$ . 此外 $\frac{1}{\sigma}A$ 可以解释为的白化矩阵 $\bf x$ ，但这就是我所知道的。

1个回答

考虑一个简单的情况 $A = \left[\begin{array}{cc}1& 1\end{array} \right]$ 和 $\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$ .

让 $x_1$ , $x_2$ ，和 $b$ 是随机变量。我们知道从 $A {\bf x} = {b}$ 那 $x_1 + x_2 = b$ . 我们也知道 $b$ 是一个正态分布的随机变量。

相反，如果 $A \mathbf{x}$ 对于任何1 × 2 矩阵 A是正常的，则 $x_1$ 和 $x_2$ 将是分布的多元正态（根据多元正态的定义），但如果 $A$ 是一些特定的矩阵，所有的赌注都是关闭的。

示例：让 $b$ 是一个正态分布的随机变量。然后定义：

x_{1} = {\begin{matrix} b & if b \leq 0 \\ 0 & if b > 0 \end{matrix}}

${ x_1} = \left\{ \begin{array}{c} { b} &\text {if } {b} \leq 0 \\ 0 &\text{if } { b} > 0\end{array} \right\}$

x_{2} = {\begin{matrix} 0 & if b \leq 0 \\ b & if b > 0 \end{matrix}}

${ x_2} = \left\{ \begin{array}{c} 0 &\text {if } { b} \leq 0 \\ { b} &\text{if } { b} > 0\end{array} \right\}$

${x_1} + {x_2}$ 是正态分布的，但两者都不是 $x_1$ 也不 $x_2$ 是正常的。

其它你可能感兴趣的问题