为什么多元高斯分布的轮廓是椭圆的?

机器算法验证 正态分布 多元正态分布
2022-03-16 00:31:46

下面显示的是根据 Andrew Ng 的笔记 ( pdf )得出的等高线及其各自的协方差矩阵为什么第一个和第二个轮廓是椭圆的而不是圆形的?沿两个轴的方差是相同的。

这是通过改变 $\Sigma$ 生成的最后一组示例:

Andrew Ng Gaussian Notes Pg4,三组椭圆轮廓

上面的图分别使用了
$$ \Sigma = \begin{bmatrix} 1&-0.5\\-0.5 &1 \end{bmatrix}; \qquad \Sigma = \begin{bmatrix} 1&-0.8\\-0.8 &1 \end{bmatrix}; \qquad \Sigma = \begin{bmatrix} 3&0.8\\0.8 &1 \end{bmatrix}。$$

3个回答

如果您查看精度矩阵的光谱/特征分解(协方差矩阵的倒数),您可以更好地理解椭圆体的形状。您想查看此逆的特征值,而不是对角线元素。

只是对其他答案的补充:对于维度为 $k$的多元 Normal ,如果您遵循此规则,您可以从代数上看到原因。设置密度等于某个级别$l$,然后: \begin{align*} (2\pi)^{-k/2} |\Sigma|^{-1/2} \exp\left(-\frac {1}{2}(x-\mu)'\Sigma^{-1}(x-\mu) \right) &= l\\ \iff \exp\left(-\frac{1}{2} (x-\mu)'\Sigma^{-1}(x-\mu) \right) &= l'\\ \iff (x-\mu)'\Sigma^{-1}(x-\mu ) &= l''.\tag{*} \end{align*} (*) 是以$\mu$为中心的椭圆体的公式。

对于您的第一个协方差矩阵,其逆矩阵的谱分解为$\Sigma^{-1} = P\Lambda P'$,其中 $$P = \left[\begin{array}{cc} P_1 & P_2 \end {array}\right] = \left[\begin{array}{cc} .707 & -.707\\ .707 & .707 \end{array}\right] $$$$ \Lambda = \left[ \begin{array}{cc} \lambda_1 & 0 \\ 0 & \lambda_2 \end{array}\right] = \left[\begin{array}{cc} 2 & 0 \\ 0 & 2/3 \end {数组}\右]。$$ 之所以看起来“被压扁”,是因为$\Lambda$的对角线不一样。这是因为半轴是$P_1/\lambda_1$(向上和向右矢量)和$P_2/\lambda_2$(向上和向左)。因为$\lambda_1$更大,这意味着$P_1/\lambda_1$是一个更短的向量。

如果我们习惯于查看协方差矩阵而不是它的逆矩阵怎么办?好吧,它们的光谱分解非常相关。因为$\Sigma^{-1} = P\Lambda P'$并且因为$P$是正交的,所以我们有 $$ \Sigma = P \Lambda^{-1}P'。$$ 试着把这两个分解相乘,你应该得到单位矩阵。这告诉我们的是,这两个矩阵具有相同的特征向量(因此它们具有相同的主轴),并且特征值是倒数。但是,我从精度矩阵开始,因为这就是密度公式中的内容。

更多示例:

如果$x$的元素是独立的,那么$\Sigma$是对角线,那么$\Sigma^{-1}$是对角线,那么(*)是 $$ \frac{(x_1 - \mu_1)^2} {\sigma_1^2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} = l''\tag{**} $$ 这仍然是一个椭圆,但它没有倾斜/旋转。

如果$x$的元素是独立的并且它们是相同的,那么$\sigma_1 = \sigma_2$和 (**) 变成一个圆圈。

假设您正在可视化名为 $(X,Y)$ 的向量的分布(假设具有二元正态分布)。

当 $X$ 和 $Y$ 具有相同的方差时,椭圆在两个轴上的投影具有相同的长度。这确实意味着它是一个圆圈。它可以是倾斜的。当 $X$ 和 $Y$ 不独立时,它不是一个圆。

当 $X$ 和 $Y$ 独立时,椭圆的长轴和短轴与轴对齐。这也不意味着它是一个圆,它可以被展平。

一个圆圈需要两者:

  • $X$ 和 $Y$ 的独立性
  • $X$ 和 $Y$ 具有相同的方差

这是当协方差矩阵 $\Sigma$ 是对角线且对角线恒定时。

在此处输入图像描述

考虑这个数字。注意圆形和虚线对角线是如何在正方形内部的。因此,圆是相关性为零时多元高斯轮廓的外观。虚线对角线是完全相关变量的轮廓。当相关性不等于零或一时,椭圆(椭圆)介于两者之间。正方形边的长度表示变量(边际)的方差(标准差)。

在这里,我调整了您的图片大小以使 x 轴和 y 轴比例相等,您可以看到椭圆如何适合正方形。我认为 Andrew Ng 的情节没有得到同等规模的事实只会增加混乱。您可以将各种椭圆形放入同一个正方形中。根据变量之间的相关性,您可以为相同的变量方差提供各种轮廓。

在此处输入图像描述

图片来自这个网站,与提问无关:)