如何报告:大样本量(10000+),显着小差异(1%)

机器算法验证 物流 样本量 大数据 小样本
2022-03-29 03:50:43

众所周知,对于大样本量,即使是很小的差异也可能具有统计学意义,尽管它可能没有实际意义。对于我目前的分析,两个队列之间的药物依从性比例差异仅为 1%。一个简单的测试将表明它在统计上不显着。然而,在将其他协变量投入逻辑回归后,队列变量的估计值似乎略微显着,p 值为 0.03。

我只是在寻求有关如何报告此类结果的建议?我的想法是:

  1. 只需报告卡方检验的幼稚结果。

  2. 报告队列、依从性和感兴趣的协变量的 3 路表。

  3. 分别对每个队列的所有感兴趣的协变量的依从性进行逻辑回归,并并排绘制两个队列的优势比和 CI。

  4. 用队列变量报告逻辑回归的实际结果,并解释为什么结果没有意义。

1个回答

理想情况下和理论上,您应该在查看任何数据之前决定测试,然后仅报告该测试。

在您的情况下,我会说您应该根据您对数据生成过程的了解来报告有意义的测试。报告不考虑您知道相关如果存在此类协变量并包含在逻辑回归中,那么这就是您应该报告的模型。χ2

当然,如果逻辑回归是“寻找意义”的结果,通过尝试不同的模型直到出现有意义的结果,这并不成立。但我想你不会在这里问你是否这样做了。

讨论您的结果虽然具有统计意义,但可能没有实际意义,这是一个好主意。