这是一个很好的问题。

概率 PCA (PPCA) 是以下潜变量模型

$$\begin{align} \mathbf z &\sim \mathcal N(\mathbf 0, \mathbf I) \\ \mathbf x &\sim \mathcal N(\mathbf W \mathbf z + \boldsymbol \mu, \sigma^2 \mathbf I), \end{align}$$ 在哪里$\mathbf x\in\mathbb R^p$是一个观察和$\mathbf z\in\mathbb R^q$是一个潜变量向量；通常$q\ll p$. 请注意，这与因子分析仅在一个小细节上有所不同： PPCA 中的误差协方差结构是$\sigma^2 \mathbf I$在 FA 中它是一个任意的对角矩阵$\boldsymbol \Psi$.

Tipping & Bishop, 1999, 概率主成分分析证明了以下定理： PPCA 的最大似然解可以通过分析获得并由 (Eq. 7) 给出：

$$\mathbf W_\mathrm{ML} = \mathbf U_q (\boldsymbol \Lambda_q - \sigma_\mathrm{ML}^2 \mathbf I)^{1/2} \mathbf R,$$ 在哪里$\mathbf U_q$是一个矩阵$q$领先的主要方向（协方差矩阵的特征向量），$\boldsymbol \Lambda_q$是对应特征值的对角矩阵，$\sigma_\mathrm{ML}^2$也由一个显式公式给出，并且$\mathbf R$是任意的$q\times q$旋转矩阵（对应于潜在空间中的旋转）。

该ppca()函数实现了期望最大化算法来拟合模型，但我们知道它必须收敛到$\mathbf W_\mathrm{ML}$如上所述。

你的问题是：如何获得$\mathbf U_q$如果你知道的话$\mathbf W_\mathrm{ML}$.

答案是你可以简单地使用奇异值分解$\mathbf W_\mathrm{ML}$. 上面的公式已经是正交矩阵乘以对角矩阵乘以正交矩阵的形式，所以它给出了 SVD，因为它是唯一的，你会得到$\mathbf U_q$作为左奇异向量$\mathbf W_\mathrm{ML}$.

这正是 Matlab 的ppca()函数在第 305 行所做的：

% Orthogonalize W to the standard PCA subspace
[coeff,~] = svd(W,'econ');

---

我可以假设主要子空间仅由一组唯一的正交向量跨越吗？

不！有无限数量的正交基跨越相同的主子空间。如果您将一些任意正交化过程应用于$\mathbf W_\mathrm{ML}$您不能保证获得$\mathbf U_q$. 但是，如果您使用 SVD 或类似的东西，那么它会起作用。