机器算法验证 - 使用 p 值和置信区间进行假设检验的差异 - 吾爱随笔录

使用 p 值和置信区间进行假设检验的差异

机器算法验证假设检验置信区间 p 值部分 z检验

2022-04-15 07:08:59

我有一个简单的问题

样本人口为 384 人， $12$ 其中 % 的人患有疾病。假设是 $5$ % 的实际人口患有疾病。所以， $H_0: \mu = 0.05$ 和 $H_a: \mu \neq 0.05$

首先，我计算 Z 统计量。

z = \frac{\hat{p} - p}{\sqrt{p * (1 - p) / 384}} = \frac{0.12 - 0.05}{\sqrt{0.05 * (1 - 0.05) / 384}} = 6.3

$z = \frac{\hat{p}-p}{\sqrt{p*(1-p)/384}} = \frac{0.12-0.05}{\sqrt{0.05*(1-0.05)/384}} = 6.3$

使用 p 值来检验假设（我使用了 R 2*(1-pnorm(6.3))）：

2 * Φ (- | 6.3 |) = 2.976457 e^{- 10}

$2*Φ(-|6.3|)= 2.976457e^{-10}$ 小于 0.05 显着性水平，因此拒绝 Null。

使用显着性水平为 0.05 的置信区间：

\hat{p} \pm z * \sqrt{\hat{p} (1 - \hat{p}) / 384} = 0.12 \pm 6.3 * \sqrt{0.12 (1 - 0.12) / 384} I get the following 0.0155 < 0.05 < 0.224

$\hat{p} \pm z*\sqrt{\hat{p}(1-\hat{p})/384} = 0.12 \pm 6.3*\sqrt{0.12(1-0.12)/384} \\ \mbox{I get the following} \\ 0.0155 < 0.05 <0.224$

因此，根据置信区间，我不能拒绝 Null。是我做错了什么，还是有时两种方法之间存在分歧？当然，在某些情况下 CI 和 p 值不同意我应该选择哪一个？谢谢。

3个回答

与大 $N$ ，您的检验统计量将按正态分布。因此，我们可以将您的测试统计量称为“ $z$ "，我们也可以使用" $z$ " 指的是渐近抽样分布。但是，这些并不相同 $z$ 的。当你形成你的 $1-\alpha\%$ 置信区间，您需要将标准误差乘以 $z_{1-\alpha/2}$ 获得正确的增量。然后，您从观察到的百分比中添加（减去）乘积以获得置信限。例如，如果你想要一个 $95\%$ 置信区间，您将标准误差乘以 $z_{.975} = 1.96$ . 如果您使用此值，您的置信区间为：

\begin{aligned} \hat{p} \pm z_{1 - α / 2} \times \sqrt{\frac{\hat{p} (1 - \hat{p})}{N}} & = 0.12 \pm 1.96 \times \sqrt{\frac{0.12 (1 - 0.12)}{384}} \\ = 0.0872 < 0.12 < 0.15 \end{aligned}

$\begin{align} \hat{p} \pm z_{1-\alpha/2}\times \sqrt{\frac{\hat{p}(1-\hat{p})}{N}} &= 0.12 \pm 1.96\times\sqrt{\frac{0.12(1-0.12)}{384}} \\[10pt] &= 0.0872 < 0.12 < 0.15 \end{align}$ 这与您的假设检验一致。

我没有代表发表评论，但我看到该问题存在一些缺陷。首先，6.3 sigma 远远超过 0.95 CL 只需快速应用 Chebyshev 定理。置信水平表示“在 N 次实验中，如果至少 1 - p 次实验你得到零假设，你不能拒绝它”。

然后，二项分布不是对称的，但是有足够的观察结果，所以如果你做一个直方图，它看起来是对称的。

为了掌握这个概念，我一直在研究几个情节来说明为什么 $z$ statistic 计算总体或理论比例的预期标准误差（可以说是从零假设的角度），然后计算出这些标准误差中有多少适合从理论总体比例到样本比例的距离 - 在这个案子~ $\small6$ - 如图所示，用六个箭头将总体与样本比例分开：

以及为什么，另一方面，置信区间做同样的事情，但是从可能的替代假设的角度来看，或者换句话说，从样本均值的角度来看：它是在样本中找到的用于计算标准的比例错误。后面的计算绘制为置信区间，显示为远离样本比例的发散箭头，并覆盖两侧的两个标准误差（置信区间）：

无论哪种情况，结论都是一样的：拒绝 $H_o$ 有利于 $H_a: \,\mu \neq0.05$ .

此处的插图代码。

其它你可能感兴趣的问题

上一篇集成分类器方法：我们应该在堆叠模型中使用类概率还是分类本身？下一篇我多久会输掉这场比赛？