使用 Wilcoxon 测试和 Spearman rho 组合作为 GLM 的替代方案的有效性?

机器算法验证 假设检验 相关性 广义线性模型 正态假设 有效性
2022-04-06 00:35:30

我最近阅读了一篇论文,其中作者使用 (a) 广义线性模型或 (b) Wilcoxon 秩和检验和 Spearman 秩相关的组合,具体取决于数据是否服从正态分布。他们还在适用时使用了 Bonferroni 校正来解释多重比较。

响应是两个连续变量,每个变量单独分析。他们有 3 个分类变量和 1 个连续变量作为自变量。(a) 对于第一个响应变量,数据服从正态分布,因此 GLM 拟合假设正态分布与身份链接。推断(显然)是通过模型项的显着性做出的,即自变量在模型中是否显着。(b) 对于第二个响应变量,数据不服从正态分布,因此使用 Wilcoxon 秩和检验和 Spearman 秩相关检验。

我的问题是:

1)这两种方法是否合适且同样有效,取决于(非)正态性?

2)即使在非正态性的情况下,不同的 GLM 类型难道不会比 Wilcoxon 秩和检验和 Spearman 秩相关的组合更好吗?(但不确定哪种类型的 GLM 是合适的,因为响应仍然是连续的……也许是伽马?)

3)在 GLM 框架中,我们不担心残差的非正态性,而不是原始数据(这并不总是一回事)吗?

4)具有“正态分布和恒等链接”的GLM(广义线性模型)不是简单的表示一般线性模型(即普通线性模型)吗?

5)这种使用来自完整模型(包括所有变量)的 p 值的方法是否合适,或者变量选择(使用 AIC 或类似方法)是否更合适?

3个回答

为了澄清术语,具有高斯分布和身份链接的 GLM 与一般线性模型或线性回归相同。因此,我将其简称为线性回归。

此外,回归中的正态假设是关于误差项的。由于残差是估计误差,我们使用残差或残差的变体来验证这一假设,例如学生化删除的残差。声称分布假设适用于线性回归中的误差项。然而,对于其他 GLM,如逻辑回归,我们不假设误差项是二项式的。线性回归的一个更一般的假设是数据呈正态分布,均值取决于预测变量,方差恒定。由于分布的均值取决于预测变量,为了验证正态性,我们提取这些均值,从而为所有数据提供相同的中心/位置。这就是残差,然后我们可以绘制这些残差来检查正态性。除了线性回归,

碰巧线性回归中的正态性假设是我们不需要太关心的假设之一。最小二乘系数不依赖于正态性。然而,使用t检验的经典推理依赖于正态性假设。但是根据中心极限定理,我们知道一旦样本量足够大,这个假设就无关紧要了。

如果我可以假设另一个分布更合适的理论原因,我可能会转向另一个 GLM,而不是因为非正态性而远离线性回归。例如,如果我的数据被计数为非负数,并且它们的计数大多是低计数和一些高值,我可能会开始考虑泊松分布。如果数据是二元的,那么二项分布是合理的。如果我们愿意假设数据具有有限方差并且它们的范围是则正态分布是一个合理的选择。通常,我们可以对数据做出比这两个假设更多的假设。(,)

此外,线性回归可以处理预测单个结果的多个预测变量。Wilcoxon/Spearman 是针对单一预测变量的情况,因此它们不能以这种方式与线性回归相比较。它们可与 Pearson 相关和t检验等专门的线性回归直接比较。然而,他们对数据提出了不同的问题。Wilcoxon 检验是比较两组的随机优势检验,而 Spearman 检验是单调关系的度量(如序数线性相关)。因此,即使它们类似于线性回归,它们也会对数据提出不同的问题。

最后,关于你的最后一个问题,建模很难。模型选择是一个难题。一种合理的方法是尝试不同的模型,然后观察它们的不同含义。如果它们的含义相似,那会让生活变得轻松。如果它们不同,那对于研究目的来说可能很有趣。使用贝叶斯建模,我们有更多选择,因为我们不必简单地选择一个模型,我们可以组合不同的模型来解释我们最终模型中的不确定性。

编辑

第一段中我的一个错误:一般线性模型还包括 MANOVA;这将一般线性模型与标准线性回归区分开来。一般线性模型族的所有其他成员都是线性回归模型或具有高斯分布和恒等链接函数的广义线性模型。

该模型是 Wilcoxon、Kruskal-Wallis 以及在某种程度上 Spearman 的的推广,是比例优势序数逻辑半参数模型。简而言之,我们称之为比例赔率 (PO) 模型。PO 模型处理线性模型的全部一般性以及更多,因为它对于的转换方式是不变的。这避免了猜测残差是否具有正态分布的需要。PO 模型在方面是稳健的,如果正态成立,其效率是线性模型的 0.95。否则它可能比线性模型更有效。ρYY

软件需要快速处理存在大量不同值的情况,因为 PO 模型中的截距数为R函数对于高达约 6000 的速度很快。kYk1rmsormk

请参阅我的RMS 课程笔记中的详细案例研究,以使用序数回归对连续Y

一旦您对序数响应模型感到满意,您甚至不再需要 Wilcoxon 等特殊情况。具有讽刺意味的是,PO 模型比 Wilcoxon 测试更好地处理极端关系。

我认为吉姆的回答充分解决了您的所有观点,但我会尝试将其归结为每个问题的要点。

1)这两种方法是否合适且同样有效,取决于(非)正态性?

当然不。一般来说,回归试图描述给定已知信息的随机变量的典型值之间的关系。在他们的评论中,whuber 描述了其他两个测试的(非常不同的)目的。

2)即使在非正态性的情况下,不同的 GLM 类型难道不会比 Wilcoxon 秩和检验和 Spearman 秩相关的组合更好吗?(但不确定哪种类型的 GLM 是合适的,因为响应仍然是连续的……也许是伽马?)

绝对如此。我们需要有关该变量的更多信息以提供具体指导。残差图是传达假定缺乏正态性的好方法。

3)在 GLM 框架中,我们不担心残差的非正态性,而不是原始数据(这并不总是一回事)吗?

正确的。这几乎从来都不是一回事。残差图是在线性回归中探索这一点的好工具。正如 Jim 所提到的,当您有一个中等大小的样本并且只关心回归系数或平均预测值时,偏离正态性本身并不是一个很大的问题。

另一方面,残差图还允许您评估的更重要条件是残差的平均值为零。如果残差有时偏离得太远,则表明模型可能指定错误。

4)具有“正态分布和恒等链接”的GLM(广义线性模型)不是简单的表示一般线性模型(即普通线性模型)吗?

不完全的。“一般线性模型”是指线性模型的一般版本。这种普遍性还允许同时分析多个结果。广义线性模型仅处理单变量结果。正态恒等式 GLM 可以描述为“多元线性回归”。这使它成为 GLM 和一般线性模型的特例。

5)这种使用来自完整模型(包括所有变量)的 p 值的方法是否合适,或者变量选择(使用 AIC 或类似方法)是否更合适?

p 值仅允许您说明是否观察到统计上的显着差异,而不是说没有,但它无法传达除此之外的任何内容。我建议使用置信区间来描述模型提供的结果,因为它们显示了估计参数的合理值范围。即使一个变量很重要,一个宽的置信区间也可能表明收集到的关于该特定关系的有用信息很少。相反,具有窄置信区间的非显着变量表明假定的关系不存在或幅度较小。

使用 AIC 进行变量选择解决了一个非常不同的问题。平均而言,选择 AIC 最佳模型将为您提供做出最佳预测同时尽可能小的模型。