对数转换和相关

机器算法验证 相关性
2022-04-06 03:50:00

我正在研究非洲农村市场的鱼价。我使用 Spearman's 来测试重量和价格之间的相关程度,得出的值为 0.773。然后我取了价格的 log10 并重新测试了相关性,它给出了相同的 Spearman 值 0.773。这看起来很奇怪,因为我认为转换会使其相关性降低或增加(例如,将细菌菌落的生长随时间从指数转变为线性)。

我知道每个变量都以相同的方式受到转换的影响,因此相关性不会改变,但是散点图在质量上是不同的——所以相关系数不应该也是如此吗?在此处输入图像描述

3个回答

单调关联的 Spearman 相关性检验(同时增加和减少的趋势);它不受单调递增变换的影响(如取对数、平方根或平方正值)。

对于 Spearman 相关,这些都是完全相关的:

在此处输入图像描述

...因为每个变量都像另一个变量一样增加(尽管数量不同)。

如果您希望在转换其中一个或另一个时相关性会发生变化,那么您可能会想到更像 Pearson 相关性的东西,它测量线性关联并受单调变换的影响。

(顺便说一句,如果您确实想转换 Pearson 相关性,我建议您考虑通过取日志来转换这两个变量。)

您没有看到任何差异的原因是因为您正在计算 Spearman 的相关性,而不是 Pearson 的相关性。后者是线性关联的度量,但 Spearman 的相关性度量任何单调关系的强度,这应该对单调变换是不变的。

我们计算 Spearman 相关性的方法是首先将观察结果转换为它们的等级,然后应用 Pearson 相关性。由于任何单调递增变换(例如对数)都不会改变观察的顺序,因此您将获得与应用变换之前完全相同的等级,因此您将获得相同的 Spearman 相关值。

Spearman 的相关系数使用排名,而不是实际数据值。因此,使用 Spearman 的相关性实际上已经是一种转换,因为您正在将数据值转换为等级。

对数转换将更改变量的值,但不会更改值相对于彼此的排名。因此,Spearman 相关系数将保持不变。