如果您查看精度矩阵的光谱/特征分解(协方差矩阵的倒数),您可以更好地理解椭圆体的形状。您想查看此逆的特征值,而不是对角线元素。
只是对其他答案的补充:对于维度为 $k$的多元 Normal ,如果您遵循此规则,您可以从代数上看到原因。设置密度等于某个级别$l$,然后:
\begin{align*} (2\pi)^{-k/2} |\Sigma|^{-1/2} \exp\left(-\frac {1}{2}(x-\mu)'\Sigma^{-1}(x-\mu) \right) &= l\\ \iff \exp\left(-\frac{1}{2} (x-\mu)'\Sigma^{-1}(x-\mu) \right) &= l'\\ \iff (x-\mu)'\Sigma^{-1}(x-\mu ) &= l''.\tag{*} \end{align*}
(*) 是以$\mu$为中心的椭圆体的公式。这
对于您的第一个协方差矩阵,其逆矩阵的谱分解为$\Sigma^{-1} = P\Lambda P'$,其中
$$P = \left[\begin{array}{cc} P_1 & P_2 \end {array}\right] = \left[\begin{array}{cc} .707 & -.707\\ .707 & .707 \end{array}\right] $$
和
$$ \Lambda = \left[ \begin{array}{cc} \lambda_1 & 0 \\ 0 & \lambda_2 \end{array}\right] = \left[\begin{array}{cc} 2 & 0 \\ 0 & 2/3 \end {数组}\右]。$$
之所以看起来“被压扁”,是因为$\Lambda$的对角线不一样。这是因为半轴是$P_1/\lambda_1$(向上和向右矢量)和$P_2/\lambda_2$(向上和向左)。因为$\lambda_1$更大,这意味着$P_1/\lambda_1$是一个更短的向量。
如果我们习惯于查看协方差矩阵而不是它的逆矩阵怎么办?好吧,它们的光谱分解非常相关。因为$\Sigma^{-1} = P\Lambda P'$并且因为$P$是正交的,所以我们有
$$ \Sigma = P \Lambda^{-1}P'。$$
试着把这两个分解相乘,你应该得到单位矩阵。这告诉我们的是,这两个矩阵具有相同的特征向量(因此它们具有相同的主轴),并且特征值是倒数。但是,我从精度矩阵开始,因为这就是密度公式中的内容。
更多示例:
如果$x$的元素是独立的,那么$\Sigma$是对角线,那么$\Sigma^{-1}$是对角线,那么(*)是
$$ \frac{(x_1 - \mu_1)^2} {\sigma_1^2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} = l''\tag{**} $$
这仍然是一个椭圆,但它没有倾斜/旋转。
如果$x$的元素是独立的并且它们是相同的,那么$\sigma_1 = \sigma_2$和 (**) 变成一个圆圈。