机器算法验证 - 从奇异高斯分布生成样本 - 吾爱随笔录

从奇异高斯分布生成样本

机器算法验证正态分布随机生成

2022-01-24 03:24:43

让随机向量 $x = (x_1,...,x_n)$ 遵循具有均值的多元正态分布 $m$ 和协方差矩阵 $S$ . 如果 $S$ 是对称且正定的（这是通常的情况），那么可以从 $x$ 通过第一次独立采样 $r_1,...,r_n$ 从标准正常，然后使用公式 $m + Lr$ ，在哪里 $L$ 是 Cholesky 下因子，因此 $S=LL^T$ 和 $r = (r_1,...,r_n)^T$ .

如果一个人想要来自奇异高斯的样本怎么办，即 $S$ 仍然是对称的，但不是更正定（只有半正定）。我们还可以假设方差（的对角元素 $S$ ) 是严格积极的。然后是一些元素 $x$ 必须具有线性关系，并且分布实际上位于具有维度的低维空间 $<n$ ，对？

很明显，如果例如 $n=2, m = \begin{bmatrix} 0 \\ 0 \end{bmatrix}, S = \begin{bmatrix} 1 & 1 \\ 1 & 1\end{bmatrix}$ 然后可以生成 $x_1 \sim N(0,1)$ 并设置 $x_2=x_1$ 因为它们是完全相关的。但是，有没有什么好的方法可以为一般情况生成样本 $n>2$ ? 我想首先需要能够识别低维子空间，然后移动到具有有效协方差矩阵的空间，然后从中采样，最后从这个低维样本中推断出线性因变量的值。但是在实践中最好的方法是什么？有人可以指点我有关该主题的书籍或文章吗？我找不到一个。

1个回答

奇异高斯分布是低维空间中非奇异分布的前推。在几何上，您可以采用标准正态分布，对其重新缩放、旋转并将其等距嵌入到更高维空间的仿射子空间中。在代数上，这是通过奇异值分解 (SVD) 或其等价物来完成的。

让 $\Sigma$ 是协方差矩阵和 $\mu$ 中的平均值 $\mathbb{R}^n$ . 因为 $\Sigma$ 是非负定和对称的，SVD 将采用形式

Σ = U Λ^{2} U^{'}

$\Sigma = U \Lambda^2 U^\prime$

对于正交矩阵 $U\in O(n)$ 和一个对角矩阵 $\Lambda$ . $\Lambda$ 会有 $m$ 非零条目， $0\le m \le n$ .

让 $X$ 有一个标准的正态分布 $\mathbb{R}^m$ : 也就是说，它的每一个 $m$ components 是具有零均值和单位方差的标准正态分布。稍微滥用符号，扩展组件 $X$ 和 $n-m$ 零使其成为 $n$ -向量。然后 $U\Lambda X$ 在 $\mathbb{R}^n$ 我们可以计算

Cov (U Λ X) = U Λ Cov (X) Λ^{'} U^{'} = U Λ^{2} U^{'} = Σ .

$\text{Cov}(U\Lambda X) = U \Lambda\text{Cov}(X) \Lambda^\prime U^\prime = U \Lambda^2 U^\prime = \Sigma.$

最后

Y = μ + U Λ X

$Y = \mu + U\Lambda X$

具有预期的高斯分布 $\mathbb{R}^n$ .

有趣的是，当 $n=m$ ：也就是说，这是一种（标准）方法，可以为任何给定的平均值生成任何维度的多元法线向量 $\mu$ 和协方差 $\Sigma$ 通过使用标准正态值的单变量生成器。

例如，这里是一千个模拟点的两个视图 $n=3$ 和 $m=2$ ：

查看 1

查看 2

第二种观点，从侧面看，展示了分布的奇异性。产生这些数字的R代码遵循前面的数学说明。

#
# Specify a Normal distribution.
#
mu <- c(5, 5, 5)
Sigma <- matrix(c(1, 2, 1,
                  2, 3, 1,
                  1, 1, 0), 3)
#
# Analyze the covariance.
#
n <- dim(Sigma)[1]
s <- svd((Sigma + t(Sigma))/2) # Guarantee symmetry
s$d <- abs(zapsmall(s$d))
m <- sum(s$d > 0)
#$
# Generate a standard Normal `x` in R^m.
#
n.sample <- 1e3 # Number of points to generate
x <- matrix(rnorm(m*n.sample), nrow=m)
#
# Embed `x` in R^n and apply the square root of Sigma obtained from its SVD.
#
x <- rbind(x, matrix(0, nrow=n-m, ncol=n.sample))
y <- s$u %*% diag(sqrt(s$d)) %*% x + mu
#
# Plot the results (presuming n==3).
#
library(rgl)
plot3d(t(y), type="s", size=1, aspect=TRUE, 
       xlab="Y1", ylab="Y2", zlab="Y3", box=FALSE,
       col="Orange")

其它你可能感兴趣的问题

上一篇你如何跟上最新的研究？下一篇事后测试有什么问题？