声称研究的负面发现的有效性

机器算法验证 分类 主成分分析 群体差异
2022-04-13 17:36:39

对于我感兴趣的疾病,有五六篇已发表的研究表明基因表达的变化与疾病的存在有关。然而,所有这些诊断性生物标志物研究都是在少数病例 (15-30) 和对照 (15-30) 中进行的,它们的潜在生物标志物列表之间的重叠很小。使用临床相关标准定义病例和对照。

我们最近完成了一项涉及 80 个病例和 80 个对照的相对较大的多机构研究,以对此进行调查。所有临床标本在其中一个机构作为批次一起处理。对我们数据的分析表明,基因表达与疾病的存在没有关联。使用与本研究使用相同基因表达测量技术的已发表研究之一的数据,根据limma R 软件包,基于适度的 t 统计数据使用SSPA R 软件包计算效果大小,本研究的功效约为 92 α = 0.10 时的 %。

我们进行的分析是:

  1. 基于各种距离测量的无监督层次聚类(主观评价)

  2. 主成分分析;传统和矩阵图(主观评价)

  3. 用于基因差异表达的各种两组测试(针对错误发现调整的 P 值的显着性阈值为 0.05)

  4. 使用线性核支持向量机 (SVM) 和最高得分对 (TSP) 方法进行留一法和蒙特卡罗交叉验证的分类/预测分析;对于 SVM,变量选择基于差异表达测量;TSP 不需要差异表达(这些分析的准确率在 45%-55% 范围内)

  5. 在使用不同技术(逆转录-PCR而不是杂交微阵列)量化基因表达后,确认某些基因不存在差异表达,这些基因在先前的研究中被确定为推定的疾病标志物

这些是否足以对我们研究的负面发现充满信心,即基因表达测量不能用于疾病诊断?我应该对表达数据集进行任何其他类型的主观或客观评估吗?

我理解此类结论的常见警告。例如,可能存在疾病标志物可能存在的病例亚组,或者测量技术的敏感性或特异性可能不足以获取某些真正的标志物基因。

谢谢你。

2个回答

“这些是否足以对我们研究的负面发现有信心” - 这取决于您所说的“有信心”是什么意思。你能走开说“关联是负面的,我们已经结束了”。不会。您可以确信,通过多种方式查看它,您没有在数据中检测到关联。

但是否有信心将负面发现视为“真相”的反映?并不真地。人们对你的发现应该有的信心并不是你对它进行的大量分析的函数。例如,人们可以使用更精细的回归技术以全新的方式查看他们的数据集,但如果他们的主题被错误分类,或者他们错过了一个主要的混杂变量,那么他们只会拥有令人印象深刻的结果不正确。

还有其他考虑因素。您的研究可能动力不足。较小的研究动力不足,但可能既动力不足又幸运。同样,您可能只是在经历一定数量的随机变化——一些研究着眼于“Capital-T Truth,God's Eye View”的积极影响,仍然会发现消极或无效的结果。你学习的可能就是其中之一。

但是,如果我们假设您的数据收集正确,并且错误分类和混杂等因素的偏差很小,我认为您可以对您的研究人群的发现充满信心,并且您可以确信您的发现表明关联是负面的. 但是,对单一研究人群的大量分析并不能提供大量证据。

这是一个非常好的问题!负面研究需要在文献中更频繁地发表,以减少或消除发表偏倚。我喜欢你做了这么多深思熟虑的分析。

EpiGrad 在他的回答中提供了一些很好的警告。但是,我认为应该考虑用一种半满的方式来看待这个问题。我在您的清单上没有看到的一件事是元分析。我认为您可以做一个并且应该添加所有设计良好且可比较的研究(具有负面或正面结果)。如果分析得出负面结论,我认为它会加强你的案例。

传统上还认为,在经典假设检验中,否定结果是原假设,而另一种选择是研究者试图提供统计推断以拒绝该原假设的肯定结果。研究旨在具有最大化功效的样本量(当您的替代方案正确时,您可能会拒绝原假设)。

在药物临床试验中,FDA 有时会批准显示不劣于对照的药物(或在其他情况下等效的药物,例如批准仿制药)。这些研究涉及扭转零假设和替代假设。这些研究有能力拒绝自卑(或非等效)。如果您可以以这种方式查看数据并拒绝生物标志物有效的零假设,我认为这将克服 EpiGrads 的有效批评。

因为假设检验的 Neyman-Pearson 方法受样本量考虑因素控制,以通过检验的功效拒绝原假设,并且并非旨在“证明”原假设,所以统计学家总是警告用户,如果原假设不拒绝你不应断定 null 已被接受。切换 null 和 Alternative 技巧可以解决这个问题。