如何处理不合逻辑的调查回复

机器算法验证 民意调查 偏见
2022-02-05 15:34:38

我已经向艺术家样本提交了一份调查。问题之一是指出以下收入的百分比:艺术活动、政府支持、私人养老金、与艺术无关的活动。大约 65% 的人回答说百分比总和为 100。其他人则没有:例如,有人回答说他们的收入的 70% 来自他/她的艺术活动,60% 来自收入政府, 等等。我的问题是:我应该如何处理这些观察结果?我应该删除、修改还是保留它们?谢谢!

4个回答

这是进行敏感性分析的好情况。以三种方式分析您的数据——

  1. 像他们那样
  2. 排除“不合逻辑”后,即百分比加起来不等于 100(或 100 +/- 10)的人
  3. 在必要时进行调整,使每个人的百分比加起来为 100

然后比较结果,分享您可以开发的任何理由,以确定哪些结果可能更准确,或者在某些方面更准确。

您还可以调查逻辑和不逻辑不同的方式范围(如果有的话)。不合逻辑的人是否倾向于报告更高的收入?对某些想法或计划表示更大的支持?跳过更多问题?在直线或不成比例地选择中等反应或极端反应的意义上表明更多的偏见?

有了大约 400 个或这些不合逻辑的数据,您甚至有足够的数据来评估不合逻辑程度与给定类型偏见程度之间的关系。类似于剂量反应关系。

当涉及到感兴趣的主要分析时,您从这些调查中学到的东西可能会反馈到您处理不合逻辑的计划中。

正如这里已经提到的那样,这些答案不一定不合逻辑。例如,你说

其他人则没有:例如,有人回答说他们的收入的 70% 来自他/她的艺术活动,60% 来自收入政府,等等。

如果 30% 的收入来自为政府进行的艺术活动,那就完全合情合理了。然后我们真的有三组:

  • 与政府无关的艺术活动:40%。
  • 政府,与艺术活动无关:30%。
  • 政府资助的艺术活动:30%。

这些数字加起来是 100%。

考虑以下问题:

  • 食品券政府或活动与艺术无关吗?
  • 是社会保障政府还是养老金?
  • 政府养老金(前政府雇员)是私人养老金还是政府?
  • 绘画艺术活动是政府拨款还是政府拨款?
  • 是否在当地学校政府或艺术活动或与艺术无关的活动中教授艺术?
  • 如果从艺术工作(教学或商业,例如绘制礼品卡)中退休,养老金是私人活动还是艺术活动?或者在教学的情况下,可能是政府?

您似乎希望这些类别相互排斥。但是,我不认为每个人都会这样理解它们。您可能对如何对这些活动进行分类有清晰的想法,但不清楚您的受访者在回答时是否有相同的划分。至少,如果你想让数字增加到 100%,你应该告诉人们。

就我个人而言,我认为解决这类问题的最佳方法是开展一种焦点小组。在传统调查中,您可能无法验证答案。因此,请致电或拜访将成为调查目标的人并开始对话。然后当他们给出你不理解的答案时,问他们为什么。除此之外,问问他们你应该如何问这个问题,这样你就会得到你想要的结果。这更像是一个焦点小组,因为它是交互式的。

完成此操作后,您就可以更好地了解如何处理不符合您的格式的响应。例如,您可能会多拿 30%,然后每人减去一半。那么你将拥有 55% 的艺术活动和 45% 的政府。或者您可以重新分类为 40% 的私人艺术活动、30% 的政府资助的艺术活动和 30% 的其他(在这种情况下,与艺术活动无关的政府支持,例如食品券或租金支持)。或者扔掉调查并重做,因为人们没有正确理解你的类别。这部分取决于您理解类别的含义以及他们如何解释它。

现在为时已晚,但对于未来的调查,请考虑在调查之前进行定期焦点小组。然后你可以在小组环境中测试你的问题并改进它们。您甚至可能会发现您从小组中收到了其他问题。如果亲自做这件事太难了,可以考虑在网上做。或者在进行真正的调查之前通过电话亲自进行测试调查(针对少数人,通过后续问题验证回答)。任何这些都可以帮助您使您的问题更清楚。

例如,也许你真正的类别应该是来自艺术活动的私人收入;政府资助的艺术活动;以前工作的私人养老金;其他与艺术活动无关的收入。或者不同的东西。部分问题是我不能告诉你想要什么,这让我认为你的受访者也不能。如果有三种不同的解释,那几乎就像您在混合来自三个不同调查的响应。

对于不合逻辑的反应的一般情况,我无法给你答案。但是对于这种特定类型的问题 - 去过那里,做过。不仅在调查中,而且在半结构化访谈中,我有机会观察人们是如何得出这种答案的。基于此,以及观察和分析认知过程的一些一般经验,我建议:将您的数据标准化回 100% 的总和原因是人们似乎首先进入最显着的类别——在你的情况下,那将是最大的收入——以百分比形式对其进行直觉估计,然后开始考虑下一个较小的类别并根据他们的估计相对到第一个类别的锚点,再加上已经提到的其他类别的锚点。

举个例子,一个思路会是这样的:“我的第一个收入来源肯定是一半以上。它赚了什么,60%?不,这太低了,比如说 65%。第二个大约是三分之一,所以会比20%多一点,呃,我脑子里很难计算,我们四舍五入到25%。第三个也感觉是第一个的三分之一,但实际上总是比第一个多一点第二,所以应该是 30%。或者甚至是 35?不,让我们用 30。哦,我忘了我有第四个来源,每年只发生一次,与其他来源相比应该非常小,所以5% 还是 10%?可能 5 更接近,实际上并没有那么多”。所以你最终得到的答案是 65 + 25 + 30 + 5 = 125%。

因为人们往往更了解收入部分彼此之间的相对大小,而不是每个部分与总收入的相对大小,所以我想说,如果你想对收入进行某种数字分析,那么在这里对它们进行标准化是有序的. 如果人们对收入和客观现实的看法和陈述之间的差异是您工作的重要主题,例如,如果您是研究认知偏差的心理学家,或者您对艺术家的自我认知高于他们的经济状况。

可悲的是,我没有很好的文献资料来证明它确实像我描述的那样有效,这只是我个人的经验观察。但我认为审稿人不会被这种决定所吸引,因为正如其他答案所说,没有单一的“正确”方式来对待它。如果有的话,由于查询技术有缺陷,他们会将您从这个问题中获得的全部数据视为无效数据。你能做的最好的事情就是先发制人地承认它,并提出论据,为什么你的工作仍然有用,为什么你得出的结论仍然是好的,尽管数据中存在这种不准确的特定来源。

如果说社会科学教会了我什么,那就是如果你给人们一个机会给出逻辑上不一致的回答,他们会的。所以请放心,您的主题没有什么不寻常的。在设计未来的调查时要牢记这一点。就目前而言,最好将回复保持原样,并在您的分析中记住,回复实际上不会像人们想象的那样达到 100%。不是真实的比例,而是每个受试者从每个类别中获得多少收入的嘈杂信号,因此以这种方式分析它们。