类内相关和聚合

机器算法验证 相关性 类内相关 聚合 解释 规模效应
2022-03-19 05:49:08

设想:

  • 您有 1000 个团队的样本,每个团队有 10 名成员。
  • 您通过使用可靠的多项目数字量表询问每个团队成员认为他们的团队运作情况如何来衡量团队运作。
  • 您想描述团队有效性的衡量标准在多大程度上是团队成员独特信念的属性或对团队的共同信念的属性。

在这种情况和相关情况下(例如,聚合到组织),许多研究人员报告了类内相关性(例如,Campion & Medsker, 1993中的表 1 )。因此,我的问题是:

  1. 您会为类内相关性的不同值附加哪些描述性标签?即,目的实际上是将类内相关性的值与定性语言联系起来,例如:“当类内相关性大于 x 时,表明态度在团队成员之间是适度/中度/强烈共享的。”
  2. 您认为类内相关性是适当的统计数据还是您会使用不同的策略?
3个回答

我认为(1)不是一个统计问题,而是一个学科领域的问题。例如,在所描述的示例中,由研究群体心理学的人来确定适合 ICC 强度的语言。这类似于皮尔逊相关性——什么构成“强”取决于一个人是从事社会学还是物理学等领域的工作。

(2) 在一定程度上也是特定于学科领域的——这取决于研究人员的目标是测量和描述什么。但从统计的角度来看,ICC 是衡量团队内部相关性的合理指标。但是我同意迈克的观点,当你说你想

“描述团队有效性的衡量标准在多大程度上是团队成员独特信念的属性或对团队的共同信念的属性”

那么使用原始形式的方差分量可能比将它们转换为 ICC 更合适。

澄清一下,将 ICC 视为在混合模型中计算的。对于具有随机组级截距的单级混合模型biN(0,σb2)和组内错误ϵijiidN(0,σ2),σb2描述团队之间的变化量和σ2描述团队内部的变化。然后,对于单个团队,我们得到一个响应协方差矩阵σ2I+σb211当转换为相关矩阵时σ2σ2+σb2I+σb2σ2+σb211. 所以,σb2σ2+σb2=ICC描述了团队内有效性响应之间的相关程度,但听起来您可能更感兴趣σ2σb2, 也许σ2σb2.

1)对于相关性,您永远无法真正给出合理的截止值,但我想说的是正常相关性的一般规则。

2) 关于 ICC 的适当性:根据数据,ICC 等同于 F 检验(参见例如Commenges & Jacqmin, 1994Kistner & Muller, 2004)。因此,从本质上讲,混合模型框架可以告诉您至少与您的假设一样多的信息,并允许同时测试比 ICC 更多的假设。

克朗巴赫α也与 ICC 直接相关,并且(曾经?)经常报告的另一种措施,尽管是在组内项目之间达成一致的背景下。这种方法来自心理问卷,其中 0.7 的截止值通常用于确定问题是否真正归入研究的因素。

Paul Bliese 有一篇文章讨论团队研究中的类内相关性。他写道

在 [他对美国陆军 [团队] 数据的丰富经验中……他从未遇到过大于 0.30 的 ICC(1) 值,而且他] 通常 [看到] 0.05 到 0.20 之间的值。

他继续建议他将

在大多数应用领域研究中发现 ICC(1) 值大于 0.30 感到惊讶。

我读过引用这篇文章的文章,可以说是不恰当的,暗示需要大于 0.05 的 ICC(1) 值来证明聚合的合理性。

参考

  • Bliese,PD(2000 年)。组内一致性、非独立性和可靠性:对数据聚合和分析的影响。PDF格式