跟进:在混合方差分析图中,估计 SE 还是实际 SE?

机器算法验证 数据可视化 方差分析 混合模式 标准错误
2022-03-07 17:00:14

我目前正在完成一篇论文,昨天偶然发现了这个问题,这导致我向自己提出了同样的问题。向我的图表提供来自数据的实际标准误差还是根据我的 ANOVA 估计的标准误差更好?
由于昨天的问题相当不具体,而我的问题非常具体,我认为提出这个后续问题是合适的。

详细信息:
我在一些认知心理学领域(条件推理)进行了一项实验,比较了两组(归纳和演绎指令,即受试者间操作)和两个受试者内操作(问题类型和问题内容,​​每个都有两个因子水平)。

结果如下所示(左图为来自 ANOVA 输出的 SE 估计,右图为根据数据估计的 SE): 替代文字
请注意,不同的线代表两个不同的组(即,受试者之间的操作)和组内受试者操作绘制在 x 轴上(即 2x2 因子水平)。

在正文中,我提供了 ANOVA 的各自结果,甚至还计划了对中间关键交叉交互的比较。SE 是为了给读者一些关于数据可变性的提示。我更喜欢 SE,而不是标准差和置信区间,因为绘制 SD 并不常见,并且在比较受试者内和受试者间 CI 时存在严重问题(因为同样适用于 SE,错误推断显着差异并不常见从他们)。

重复我的问题:绘制从 ANOVA 估计的 SE 更好还是应该绘制从原始数据估计的 SE?

更新:
我认为我应该更清楚估计的 SE 是什么。SPSS 中的 ANOVA 输出为我estimated marginal means提供了相应的 SE 和 CI。这是左图中绘制的内容。据我了解,它们应该是残差的标准差。但是,当保存残差时,它们的 SD 并不接近估计的 SE。所以第二个(可能是 SPSS 特定的)问题是:
这些 SE 是什么?


更新 2:我终于设法编写了一个 R 函数,它应该能够根据我自己的最终喜欢它(请参阅我接受的答案)制作一个情节。如果有人有时间,如果您能看一下,我将不胜感激。这里是。

4个回答

作为对我的问题的启发性答案和讨论的结果,我构建了以下不依赖于任何基于模型的参数的图,但呈现了基础数据。

原因是与我可能选择的任何类型的标准误差无关,标准误差是基于模型的参数。那么,为什么不呈现底层数据,从而传递更多信息呢?

此外,如果从方差分析中选择 SE,我的具体问题会出现两个问题。
首先(至少对我而言)不知何故不清楚SPSS方差分析输出中的 SE 实际上是什么(另见评论中的讨论)。它们在某种程度上与 MSE 相关,但我不知道到底是什么。
其次,它们仅在满足基本假设时才合理。然而,如下图所示,显然违反了方差同质性的假设。

带有箱线图的地块: 替代文字

包含所有数据点的图: 替代文字

请注意,这两组有点向左或向右错位:向左演绎,向右归纳。均值仍以黑色绘制,背景中的数据或箱线图以灰色绘制。左侧和右侧图之间的差异在于均值的错位是否与点或箱线图相同,或者它们是否居中呈现。
抱歉,图表质量不佳和缺少 x 轴标签。

剩下的问题是,上述地块中的哪一个是现在要选择的地块。我必须考虑一下并询问我们论文的另一位作者。但现在,我更喜欢“手段错位的点”。我仍然会对评论非常感兴趣。


更新:经过一些编程后,我终于设法编写了一个 R 函数来自动创建一个类似点的图,其均值错位。检查出来(并给我发评论)

对于这种类型的实验设计,您将找不到用于推理目的的单个合理误差条。这是一个老问题,没有明确的解决方案。

似乎不可能在这里获得估计的 SE。在这样的设计中有两种主要的误差,即 S 间误差和 S 内误差。它们通常彼此非常不同,并且没有可比性。真的没有很好的单一误差条来表示您的数据。

有人可能会争辩说,数据中的原始 SE 或 SD 在描述性而非推理意义上是最重要的。它们要么讲述集中趋势估计 (SE) 的质量,要么讲述数据的可变性 (SD)。然而,即便如此,它还是有些虚伪,因为您在 S 内测试和测量的东西不是原始值,而是 S 内变量的影响。因此,就内部 S 效应而言,报告原始值的可变性要么没有意义,要么具有误导性。

我通常认可此类图表和相邻效果图上没有误差条,表明效果的可变性。人们可能在该图上有完全合理的 CI。有关效果图的示例,请参见 Masson & Loftus (2003)。只需消除它们显示的平均值周围的((几乎完全无用的)误差线,然后使用效果误差线。

对于您的研究,我首先将数据重新绘制为 2 x 2 x 2 设计(2-panel 2x2),然后在图表旁边立即绘制有效性、合理性、指导和交互效果的置信区间。将指令组的 SD 和 SE 放在表格或文本中。

(等待预期的混合效应分析响应;))

更新:好的,编辑后很明显,您唯一需要的是用于显示价值估计质量的 SE。在这种情况下,请使用您的模型值。这两个值均基于模型,并且您的样本中没有“真实”值。使用您应用于数据的模型中的那些。但是,请确保您在图标题中警告读者,这些 SE 对您的内部 S 效果或交互没有任何推论价值。

UPDATE2:回顾您提供的数据......这看起来很可疑,就像首先不应该使用 ANOVA 分析的百分比。不管是不是,它是一个最大值为 100 并且在极端情况下减少了方差的变量,因此它仍然不应该使用 ANOVA 进行分析。我非常喜欢你的 rm.plot 情节。我仍然很想单独绘制条件之间的图,显示原始数据,并在条件内显示数据之间的 S 变异性被删除。

这看起来是一个非常好的实验,所以恭喜!

我同意 John Christie 的观点,它是一个混合模型,但如果它可以在 ANOVA 设计中正确指定(并且是平衡的),我不明白为什么它不能如此公式化。受试者内的两个因素和受试者之间的一因素,但受试者之间的因素(归纳/演绎)清楚地相互作用(修改)了受试者内的影响。我假设绘制的均值来自 ANOVA 模型 (LHS),因此模型是正确指定的。干得好 - 这很重要!

几点:1)“估计”与“实际”“错误”是错误的二分法。两者都假设一个基础模型并在此基础上进行估计。如果模型是合理的,我认为最好使用基于模型的估计(它们基于更大样本的汇集)。但正如詹姆斯所提到的,错误会因您进行的比较而有所不同,因此不可能有简单的表示。

2)我希望看到绘制的箱线图或单个数据点(如果没有太多),可能带有一些横向抖动,因此可以区分具有相同值的点。

http://en.wikipedia.org/wiki/Box_plot

3)如果您必须绘制均值误差的估计值,切勿绘制 SD - 它们是样本标准差的估计值,与总体可变性有关,而不是均值的统计比较。通常最好绘制 95% 置信区间而不是 SE,但在这种情况下不是(见 1 和约翰的观点)

4) 这个数据与我有关的一个问题是统一方差的假设可能被违反,因为“MP Valid and Plausible”数据显然受到 100% 的限制,特别是对于演绎的人。我在自己的脑海中折腾这个问题有多重要。转向混合效应 logit(二项式概率)可能是理想的解决方案,但很难问。最好让其他人回答。

最近我一直在使用混合效应分析,并且在尝试开发一种随附的可视化数据分析方法时,我一直在使用自举(参见我的描述here),它产生的置信区间不易受到组内与组间问题的影响的传统 CI。

另外,我会避免将多个变量映射到相同的视觉美学,​​就像您在上图中所做的那样;您有 3 个变量(MP/AC、有效/无效、合理/不合理)映射到 x 轴,这使得解析设计和模式变得相当困难。我建议改为将 MP/AC 映射到 x 轴,将有效/无效映射到 facet 列,并将似是而非/不合理的映射到 facet 行。查看 R 中的 ggplot2 以轻松实现此目的,例如:

library(ggplot2)
ggplot(
    data = my_data
    , mapping = aes(
        y = mean_endorsement
        , x = mp_ac
        , linetype = deductive_inductive
        , shape = deductive_inductive
)+
geom_point()+
geom_line()+
facet_grid(
    plausible_implausible ~ valid_invalid
)
其它你可能感兴趣的问题