我认为这里有一个轻微的概念问题：可能性是数量$P(x,y|\theta)$作为一个函数$\theta$. 但是相关系数是数据的函数$x$和$y$. 因此，根据定义，相关系数是“统计量”（数据的函数）而不是可能性（参数的函数）。

换句话说，有$\theta$观察到的相关性的概率很高，其他值$\theta$观察到的相关性较低。如果您考虑到相关的高斯，那么观察到的相关性可能不太可能，因为协方差矩阵比数据预期的依赖程度更高或依赖程度更低。（所以可能性和$r^2$甚至不会是单调的，除非$r^2=1$）。当然，预期相关系数与双变量高斯中的非对角项单调相关，但这并不能使$r^2$本身就是可能性的代表。

听起来您对测试是否可能已经观察到特定的相关系数感兴趣，因为$x$和$y$是独立生成的。为此，您可能希望对观察到的值执行显着性检验$r$或者$r^2$，它将告诉您在给定特定数据模型的情况下观察到该值的可能性有多大。维基百科关于相关系数推断的文章讨论了一些常见的测试。

我认为 PCA 所做的事情接近于高斯噪声模型，它接近于多维空间中的相关性度量。