机器算法验证 - 测试概率是否在统计上不同？ - 吾爱随笔录

机器算法验证假设检验

2022-04-22 08:01:57

我完成了一个由一百万（ $10^6$ ) 个人模拟。模拟返回一个变量， $p$ ，可以是 1 或 0。然后我根据预定义的标准对模拟进行加权并计算 $p$ . 我还使用计算风险比 $p$ ：

Risk ratio = P (p | test case) / P (p | control case)

$\text{Risk ratio} = P(p|\text{test case}) / P(p|\text{control case})$

我进行了 8 次 Monte Carlo 运行，其中包括 1 个控制用例和 7 个测试用例。

我需要知道的概率 $p$ 与其他情况相比在统计学上有所不同。我知道我可以使用多重比较测试或非参数方差分析来测试单个变量，但我该如何为概率执行此操作？

例如，这两个概率在统计上是否不同？：

概率：

$P(p|\text{test #3}) = 4.08 \times 10^{-5}$

$P(p|\text{test #4}) = 6.10 \times 10^{-5}$

风险比率：

$\text{Risk Ratio}(\text{test #3}) = 0.089$

$\text{Risk Ratio}(\text{test #4}) = 0.119$

1个回答

如果您有 1,000,000 次独立的“硬币翻转”，可以产生 1 的概率 (prob) 和 0 的概率 (1-prob)，那么观察到的 1 的数量将遵循二项分布。

统计显着性检验是拒绝检验，即当真值为 param1 时，如果在 test2 中观察到 param2 的概率小于某个数字，如 5%、1% 或 0.1%，则拒绝两个参数相等的假设. 这些测试通常由累积分布函数构成。

二项式的累积分布函数很难看，但可以在 R 和其他一些统计包中找到。

但好消息是，如果有 1,000,000 个案例，您不需要这样做……如果您的案例数量相对较少，您就可以这样做。

因为您有 1,000,000 次独立翻转，所以正态分布的 CDF 是一个很好的近似值（大数定律在这里起作用）。您需要使用的均值和方差是显而易见的，并且在Binomial Wikipedia文章中...然后您正在比较两个正态分布的变量，并且可以使用您将使用的所有标准测试与正态分布的变量。

例如，如果真实概率是 40*10^-6，那么在 1,000,000 次测试中，您会期望看到 40 +/- 6 个阳性案例。例如，如果测试的接受区间每边宽 5 个标准差，那么这将与两个观察结果兼容。如果每边只有 3 标准开发宽度，则一种情况适合，另一种情况在统计上会有所不同。

其它你可能感兴趣的问题