是否可以同时调用多个回归系数显着?

机器算法验证 可能性 假设检验 多重回归 多重插补 类型 i 和 ii 错误
2022-03-23 07:18:50

好的,这是一个思想实验:

假设您有一个包含 40 个协变量的数据集。假设数据具有您可能想要的所有不错的理论属性:随机抽样、变量不相关等。假设空值对于每个 95% 水平的贝塔系数都是正确的,并且我们不知道空值在所有情况下都是正确的。

接下来,您运行模型,40 个 beta 中的 2 个似乎很重要,t 值适中,但没有什么疯狂的。当然足以拒绝这两个测试版的空值。现在,假设 null 为真,这是一个完全合理的结果。每个 beta 有大约 5% 的拒绝机会,因此在您运行模型之前,您会预期有两个 beta 会拒绝!

这让我想到了我的问题:当我们总是期望某个数字仅仅因为随机性而被拒绝时,我们在什么意义上可以说多个 beta 很重要?以及如何同时对这些 beta 进行假设检验?这不是作弊吗,有点像掷骰子直到你得到一个六?在我看来,在运行模型以获得“真实”意义之前,您只能预先指定一个要查看的 beta。

为了澄清我所说的同时的意思:我不是在谈论整体测试(例如 F-Test)或任何相关的缓解措施,如多重比较校正。我完全同意这些测试和措施是有效且有意义的。我是在个人 beta 本身及其个人 CI 的层面上问:如果两个 beta 拒绝,我是否应该忽略这一点并说:“好吧,我预计两个会拒绝。这些影响不是真实的”?这可能是我的主要观点:在这种情况下,回归系数水平的显着性是否意味着什么?或者假设有四个人拒绝了。我猜两个是偶然的错误信号,但我怎么知道哪个是真的,哪个是假的?

PS:如果您有一个开源文本可以引用并支持您的答案,我会很高兴的。

2个回答

确实,如果有 40 个变量,您会认为有两个变量是重要的(当使用 0.05 的常规 alpha 时)。这就是为什么在评估作为一个整体的模型的 F 检验之前,我们不应该解释多元回归模型的单个 t 检验。(它可能会帮助您在这里阅读我的答案:线性回归中的显着性矛盾:系数的显着 t 检验与非显着的总体 F 统计量。)如果我有一个具有非显着 F 检验的模型,但是 2在 40 个变量中单独显着,我会将这些结果解释为实际上没有意义。

需要明确的是,我不会说“这些影响不是真实的”,因为这不是对非显着结果的有效解释(请参阅:为什么统计学家说非显着结果意味着“你不能拒绝零”而不是接受零假设?)我会说您没有足够的证据来拒绝零假设。

关于后续问题(如何知道 4 个中有 2 个是真实的,哪个是假的),您永远不会知道重要变量是否与响应具有“真实”关系,您永远不会知道非重要变量是否不。这是我们正在玩的游戏性质的一部分。如果您真的担心您的某些结果可能是错误发现的可能性,您可以使用错误发现程序来探索它,但在您描述的那种情况下这样做并不常见。

如果我正确地阅读了您的问题,那么您只是在询问统计中的多重比较,这是一个众所周知的现象。为了解决这个问题,您可以使用Bonferroni-correction之类的方法来纠正您的重要性,尽管存在许多类型的纠正方法。

请注意,您还需要考虑分析的含义。它会决定您的公司或医疗部门的运作方式吗?那么你可能应该更认真地对待它,而不是你的研究只是为铺平道路和指导未来的研究。多重比较以及我们如何解决它,本质上只是类型 1 和类型 2 错误之间的一种舞蹈。

编辑:阅读您的编辑后。

这可能是我的主要观点:在这种情况下,回归系数水平的显着性是否意味着什么?

相对于整个模型,系数告诉您协变量对因变量的影响的方向和大小。如果协变量的 p 值显着,但模型包含足够多的个体协变量而没有预先确定的假设,那么您怀疑未调整的 p 值可能是错误的,即使确实显着,系数和 CI 也可能被夸大. 关于系数的另一个重要部分是您对混杂因素的控制程度,因为这些混杂因素会显着改变模型中的系数。关于这个主题的相关文献。