我用不同的分析方法分析了一组患者（每位患者 16 条曲线）的几条数据曲线，并想测试这些方法的一致性。
到目前为止，我忽略了患者之间的潜在相关性，因此能够计算 ICC（一致）值，这产生了非常合理的结果。
不幸的是，我有理由相信这些数据在患者内部是相关的。我现在正在研究混合线性模型和广义估计方程，它们都处理这种聚集数据的情况。
我的问题是：有什么方法可以计算类似于 ICC（或 CCC）的东西来测试一致性，或者你们会用什么来衡量方法之间的一致性？我想我可以得到 beta 值，但更强大的东西会很好，你实际上可以附加一些统计意义。
您正在做的是引入多重比较。对于验证性分析，我们通常会指定我们的主要分析，并且我们可能会进行一些事后或次要分析，而不是确认先前的发现，而是了解数据的局限性。如果没有对您进行的各种分析的任何描述，我无法提出任何明确的建议，但我怀疑您在几个方面应用了不正确的方法。
类内相关系数 (ICC) 是衡量集群内方差比例的指标，可用于激发用于分析纵向或面板数据的混合建模方法。您似乎描述了将 ICC 应用于没有意义的单个分析（例如回归或分类模型），并且不符合模型的预期目的。一致性相关系数 (CCC) 是统计风险预测模型校准的量度，需要明确的是，它涉及每个参与者的单一风险预测，并且需要单独的测试/训练数据集。CCC 可以比较几个风险模型，但我强调：面板数据中的风险模型非常细微，我不觉得这就是你在这里所做的。
“协议”或相互协议是另一种类型的发现，它与评估在大量人群中应用的测试的多次重复有关。虽然统计测试确实与分类有一些关系，但在此设置中应用“一致性”度量是不正确的，因为统计测试在数据本身之外没有可变性来源。应用协议的设置示例是在多个放射科医师将不同筛查分类为良性与可能癌症的设置中。
因此，除了提醒您正确的统计方法之外，我真的找不到从您的问题开始的地方：
决定（先验）单一分析方法，该方法以一般社区可以理解的方式衡量感兴趣的结果
拟合任何后续模型作为评估第一个模型中敏感性的一种方式，例如后续损失、未测量的变异源和/或自回归效应。在报告主要发现后描述任何可能的限制。
是的，您可能无法假设来自同一患者的数据是独立的，但您是否检测到患者内部效应（尝试 ANOVA）？如果您想在患者之间进行比较，您可以尝试标准化以控制每位患者的影响？
如果您将患者的线性混合模型作为随机效应拟合，那么您可以从 beta 中获得显着值。
ps不知道ICC是什么或CCC