这两种情况都是重测的特定情况，除了在您描述的第一种情况下召回期为空。我也希望在前一种情况下达成更大的协议，但这可能与学习或记忆效应相混淆。机会校正的一致性度量，如Cohen 的 kappa，可以与二元变量一起使用，并且可以在两种情况下比较自举置信区间（这比使用$\kappa$直接抽样方差）。这应该表明您的措施的可靠性，或者在这种情况下是诊断协议，在这两种情况下。也可以使用 McNemar 检验来检验配对中的边际同质性。

基于类内相关性的方法仍然有效，并且如果您的患病率不是极端的，则应该关闭

• 一个简单的 Pearson 相关性（对于二进制数据，也称为phi 系数）或@Skrikant 建议的四色版本，
• 前面提到的 kappa（对于一个大样本，并假设两种情况下的边际分布是相同的，$\kappa\approx\text{ICC}$来自单向方差分析）。

关于您的奖励问题，您通常需要 3 个时间点来区分缺乏（时间）稳定性（如果您测量的潜在类别或特征随着时间的推移而演变，这可能会发生）与缺乏可靠性（参见插图Wiley 和 Wiley提出的模型，1970 年，美国社会学评论35)。

也许，计算四色相关性会很有用。请参阅此网址：Tetrachoric 和 Polychoric 相关系数简介