第 6 个回答选项(“我不知道”)被添加到李克特 5 点量表中。数据是否丢失?

机器算法验证 李克特 数据插补
2022-02-16 13:33:13

我需要一点帮助来挽救问卷中的数据。

我的一位同事应用了一份问卷,但无意中,他没有使用原始的 5 点李克特量表(非常不同意到非常同意),而是在量表中插入了第 6 个答案。而且,更糟糕的是,第 6 个响应选项是……“我不知道”。

问题是有很大比例的受访者在某一时刻选择了“我不知道”。如果它们是相当小的百分比,我就会将它们从数据库中排除。然而,研究的核心在于概念模型,排除这么多记录会给模型带来问题。

有人可以在这里指出我正确的方向吗?是否有任何“良好做法”,或者我可以做些什么来使用(转换、转换等)那些“我不知道”的回答?

此外,如果我对相关数据进行任何操作(即,如果我通过替换、插补等方式转换“我不知道”的回答),什么样的“免责声明”、“警告”、注释、我应该使用吗?

我知道这是一个很长的机会,但我承认,除了挽救回应之外,我也很好奇在这些类型的情况下,约定的做法(如果有的话)是什么。

PS:我知道这听起来很幼稚,但不,“同事”不是我 :)

4个回答

为什么要对不真实的东西强制校准?正如 Maarten 所说,这不是数据的丢失,而是信息的获取。如果您正在寻找的神奇药丸存在,则意味着对您的人口有一些假设,例如,即使用户说“我不知道”,也会偏向某个特定标签。

我完全理解您的沮丧,但解决问题的正确方法是根据真实的现有数据修改模型以满足您的需求,而不是相反(修改数据)。

如果这是一份经过独立验证的标准化问卷,那么您不能声称新问卷是等效的,并且数据不再具有可比性。您可以尝试在单独的实验中验证和检查问卷(非常耗时,特别是如果您还想展示与旧版本的可比性)或者只是接受您正在处理较低的证据质量(因为您的数据来自来自未经验证的问卷)。

当您使用您的数据时,您必须将更改考虑在内。当面对一个态度问题时,人们不会给你一个“客观真实”的答案,他们会给你他们认为是真实的答案——这肯定会受到可用答案选项的影响(他们“规范”他们的答案量表)以及他们对该主题的了解(存在已知的偏见,它们的作用不同,有时在不同的方向(!)取决于参与者对主题的了解是多还是少)。

因此,如果我们正在处理已建立的问卷,您可以选择比较您的问卷版本和原始问卷。如果最初假设人们知道他们在选择什么,而事实证明他们不知道,那么您可以讨论旧模型如何基于错误的假设,以及这样做的后果是什么。请注意,这是一个“侧面”发现,它提出了一个很好的新研究问题,但让你远离了原来的问题,并且确实表明回答原来的问题比想象的要困难得多,所以它肯定会使你的工作成倍增加。

如果您不处理已建立的问卷,您可以顺其自然,假装您的临时问卷是这样计划的,并相应地评估结果。同样,这可能意味着使用此方法无法获得您希望的结果,但这也是需要了解的重要事项。

为了更好地理解措辞和选项如何影响问卷的回答方式,我建议阅读 Tourangeau 等人的“调查响应心理学”。对于曾经创建问卷的每个人来说,这都是一本很好的读物。

如果你问被访者生了几个孩子,“零”和“不适用”的答案并不完全一样,因为男人不能生育。

在某些情况下,将“我不知道”等同于中性反应可能同样是一个概念错误。

实际上,您有两个问题:一个二分法“您有意见吗?” 和一个序数“它是什么?”,就像上面一样,你有一个隐含的“你是女性吗?” 超出您的明确问题。

当然,您可以引入一些假设(有时是正确的,有时只是为了方便,有时是强制的)以使您能够进行一些建模,但是如果不进入您的现象的具体领域,我看不出没有普遍适用的策略。

最后要考虑的一点是,试图从女性生殖力的答案中推断出男性人口是没有意义的。

是否应将“不知道”选项纳入由李克特类型评分量表组成的调查问卷中的困境是永恒的。通常,当项目询问意见时,会包括 DK,因为没有意见本身就是一个重要的状态,并且受访者期望这样的选项。在个人特质清单中,人们将品质归因于目标 DK 选项通常会被删除,因为通常期望受访者能够评估特征的亲和力程度(即,受访者总是被认为是合格的);当他偶尔发现困难时,他被允许(通过指示)跳过该项目。在个人特征清单中,人们描述目标(行为项目)DK(或不'

@Hatim 在他的回答中,@Maarten 和 OP 问题的其他一些评论员明智地提出,在当前研究中观察到的大量 DK 反应表明项目中存在问题(内容有效性或面子有效性)或受试者没有t 适合向他们订购的问卷。

但是你永远无法讲述这个故事,最终对障碍的解释取决于你(除非你在单独的调查中解决它)。例如,有人可以声称,在该问卷中将 DK 选项包含在喜欢的人中(例如,这是一个特质归属清单)服务不好,不好。它没有给你信息(评论员说,那个it proves that the [rating] model is inadequate),而是分心/引诱了受访者。如果没有提供由内隐认知特征图式引导的评级决策,则可能会被引出;但看到冷却选项排除了模式,并让一个人匆忙退出。

如果你进一步承认 - 你的风险,但为什么不呢?- 一个容易分心或懒惰的主题是一个潜在的,被抑制的观点是有效的,但往往是微弱的区分 - 也就是说,他很容易调用传统的das Man,而不是个人Erlebnis,图式 - 那么你可以试探性地推测他的缺失响应围绕该项目的样本或总体平均值。如果是这样,为什么不使用(+噪声)替换缺失的响应?或者,您可以进行 EM 或回归(+噪声)插补以考虑相关性。

重复一遍:插补决定是可能的,但有风险,并且鉴于大量缺失的数据,不太可能“真正”恢复缺失的数据。正如@rumtscho 所说,可以肯定的是,带有 DK 的新问卷不等于没有 DK 的原始问卷,数据不再具有可比性。

这些都是猜测。但首先,您应该尝试调查观察到的缺失模式。选择DK的对象是谁?它们是否聚集在亚型中?它们与“好的”子样本的其余项目有何不同?有些软件有缺失值分析包。然后,您可以决定是完全还是部分放弃这些人,或者进行估算,或者将他们作为单独的子样本进行分析。

PS 另请注意,受访者是“愚蠢的”。他们经常只是与规模等级混淆。例如,如果 DK 点靠近天平的一个极点,它经常会因疏忽与该极点而混淆。我不是在开玩笑。