线性回归模型中的F检验和t检验

机器算法验证 回归 方差分析 t检验 线性模型 f检验
2022-04-09 17:22:03

F检验和t检验在回归模型中进行。

在 R 的线性模型输出中,我们得到响应变量的拟合值和期望值。假设我将身高作为解释变量,将体重作为 100 个数据点的响应变量。

线性模型中的每个变量(解释变量或自变量,如果我们有多元回归模型)系数都与一个 t 值(连同它的 p 值)相关联?这个 t 值是如何计算的?

最后还有一个 F 检验;我又很想知道它的计算?

同样在线性模型之后的方差分析中,我看到了 F 检验。

虽然我是新的统计学习者,而不是统计背景,但我已经完成了很多关于这方面的教程。请不要建议我使用基本教程,因为我已经这样做了。我只是想知道使用一些基本示例的 T 和 F 测试计算。

2个回答

误解是您的第一个前提“在两个群体之间进行 F 检验和检验”,这是不正确的或至少是不完整的。_tt- 系数旁边的测试测试该系数等于 0 的零假设。如果相应的变量是二元的,例如 0 = 男性,1 = 女性,那么它描述了两个总体,但增加了您还调整的复杂性对于模型中的其他协变量。如果该变量是连续的,例如受教育年限,您可以考虑将受教育年限为 0 的人与受教育年限为 1 年的人进行比较,将受教育年限为 1 的人与受教育年限为 2 年的人进行比较,等等,每个步骤对预期结果具有相同影响的约束,以及您为模型中的其他协变量调整的复杂性。

线性回归后的 F 检验检验模型中除常数之外的所有系数都等于 0 的零假设。因此,您要比较的组更加复杂。

最开始的一些符号,我使用z~N(0,1), u~χ2(p), v~χ2(q) 和z, u 和v 是相互独立的(重要条件)

  1. t = z/sqrt(u/p)。对于每个系数βj,如果测试h0:βj =0。那么 (βj-0)/1 基本上是 z,并且样本方差 (n-2)S^2~χ2(n-2),那么你也有你的底部。所以当 t 很大时,这意味着它偏离了 H0(显着的 p 值),我们拒绝了 Ho。
  2. F = (u/p)/(v/q),其中 u 可以具有非中心参数 λ。在一般线性回归中如何得到两个独立的 χ2?估计的βhat(整个向量)和估计的样本方差s^2总是独立的。所以线性回归中的 F 检验基本上是 (SSR/k)/(SSE/(nk-1))。(SSR:回归平方和 SSE:误差平方和)。在H0: β =0 下,top 将有中心卡方(因此是非中心 F),否则,它将遵循非中心测试统计。因此,如果您想知道 t 和 F 之间的关系,请考虑简单的线性回归。Y=Xb+a(b 是一个标量),那么 b 的 t 检验和整体 F 检验是一回事。
  3. 对于(单向)ANOVA,有很多关于非满秩 X 矩阵和可估计函数的统计资料,我不想让你负担所有这些。但基本思想是,例如我们在 covid-19 中有 4 种治疗方法,我们想比较 4 组之间是否存在差异。然后总体 F = \sum{n=1}^{4-1}(Fi)/(4-1) 用于总 (4-1) 线性独立正交对比。因此,如果整体 F 值很大,我们将拒绝 H0:4 组之间没有差异。

大声笑我才意识到你这么多年前问过这个问题,可能不再困惑了。但是,如果您仍有兴趣,可以查看“统计中的线性模型”一书以获得更严格的解释。我正在为我的预选赛复习这本书,碰巧碰到了这个:)