机器算法验证 - 产生对比结果的独立复制实验；如何将它们结合起来？ - 吾爱随笔录

机器算法验证假设检验 p 值荟萃分析组合 p 值可复制性

2022-03-28 16:39:05

想象一个简单的实验，试图回答一个简单的问题。例如，男性和女性的体温是否相同？

要回答这个问题，假设您从给定城市随机抽取 10 名男性和 10 名女性，并测量他们各自的体温（当然，每个人的测量协议相同）。

然后想象一下，这两个样本之间存在显着差异（alpha=5%）。

您不能忽略可能的统计侥幸，对吗？（这可能是一个附属问题，如果你也能回答我会很高兴，但主要问题在下面）你可能想重复这个实验几次，例如在独立的城市，以获得非常自信你在第一个实验中观察到的差异的现实

再想象一下，你重复这个实验 8 次（包括第一次），你观察到其中 4 次男性和女性之间的显着差异。

我的问题是：如果我只有以下信息，我对差异的真实性有多大信心：8 个独立测试中有 4 个在 alpha = 5% 时显着？（或者，解释一下，当我所拥有的只是与每个重复实验相关的 p 值时，我如何计算整体 p 值？也许我需要更多信息？）

（这是一个简单的例子，用于有效地思考一个更复杂的实际问题......）

1个回答

在原假设下，每个实验的 p 值应该在 0 和 1 之间均匀分布，因此可以基于此对所有实验的原假设进行检验。也许最常见的检验统计量是Fisher 的：对于来自个独立实验的p 值，每个实验的负对数遵循指数分布 $p_j$ $m$

- \log p_{j} \sim E x p (1)

$-\log p_j\sim \mathrm{Exp}(1)$

自由度的卡方分布之和的两倍。 $2m$

- 2 \sum_{j}^{m} \log p_{j} \sim χ_{2 m}^{2}

$-2\sum_j^m \log p_j \sim \chi^2_{2m}$

因此，可以从卡方分布函数中获得整体 p 值： $p^*$ $F_{\chi^2}(\cdot)$

p^{*} = 1 - F_{χ^{2}} (- 2 \sum_{j}^{m} \log p_{j}; 2 m)

$p^* = 1-F_{\chi^2}\left(-2\sum_j^m \log p_j; 2m\right)$

如果您只知道是否为否。和样本大小的二项分布： $p_j<\alpha$ $\alpha$ $m$

\sum_{j}^{m} I (p_{j}) \sim B i n (α, m)

$\sum_j^m I(p_j) \sim \mathrm{Bin}(\alpha,m)$ 其中指标函数 & 所以你可以使用二项分布函数来计算整体 p 值

I (p_{j}) = {\begin{cases} 0 & when p_{j} \geq α \\ 1 & when p_{j} < α \end{cases}

$I(p_j)=\left\{ \begin{array}{ll} 0 & \text{when } p_j\geq\alpha \\ 1 & \text{when } p_j<\alpha \end{array} \right.$

F_{B i n} (\cdot)

$F_\mathrm{Bin}(\cdot)$

p^{*} = 1 - F_{B i n} (\sum_{j}^{m} I (p_{j}) - 1; α, m)

$p^*=1-F_\mathrm{Bin}\left(\sum_j^m I(p_j)-1;\alpha,m\right)$

阅读有关更复杂情况的荟萃分析，以及（通常更有用）估计在几项研究中测量的效应大小，以及评估异质性（不同的研究真的测量同一件事吗？）。

其它你可能感兴趣的问题