我询问了调查受访者两个时间点,并询问参与者他们“同意”的程度,这是一个典型的李克特式问题。例如,好像我问过“奥巴马成为总统之前,生活是良好的”,也是一个单独的问题,在奥巴马成为总统之后,生活一直很好”。通常,人们会假设进行 t 检验,起初我认为是配对 t 检验,因为这是我试图比较的两组不同的答案(有点像时间 1/时间 2,对吧?)。然而,我多次被想要成为统计数据的人拒绝,没有人能告诉我什么是正确的测试。所以谁能告诉我,如果我问两个时间点(在你的童年,你和你妈妈的关系怎么样?现在,你和你妈妈的关系怎么样?),我该如何比较它们?
如何比较对不同时间点提出的相同问题的回答?
这取决于几件事。
一个是你的规模。除非它可以合理地被视为一个连续的量表,否则在测试中是不合适的。一些纯粹主义者认为,出于此类目的,您永远不应该将序数尺度视为连续的。
另一个可能更重要的问题是你对什么感兴趣。你想看看生活中是否有明显的改善/下降?或者您对两者之间的相关性感兴趣。例如(假设您可以将变量视为连续变量)配对 t 检验将显示平均而言人们是否认为生活更好;但是,如果您感兴趣的是“奥巴马”是否以某种方式成为决定性因素,则相关系数可能会很有用。
考虑一个在共和党人和民主党人之间平衡的高度政治党派样本,其中同意第一个声明的每个人都不同意第二个声明,反之亦然。配对的 t 统计量将完全为零,表明奥巴马没有影响 - 但现实是有很大的影响,改变谁认为生活是美好的。某种相关系数会显示这一点。
如果您想使用相关系数进行测试,您应该使用引导方法。
如果您想要一个适当的序数数据相关系数,您应该考虑多变量相关。
如果实际上您对净增加(上升或下降)感兴趣,那么如果数据足够“接近”连续,您可以假装它是连续的,那么配对 t 检验就可以了;但是@psj 建议的非参数配对测试可能会更好。
一种方法是可视化个人的变化。我不记得这种图表类型的名称,但这将是一个图表,其中对第一个问题的每个单独响应都绘制在左侧的 y 轴位置,并且每个响应都针对第二个问题绘制在右侧,用一条线连接每个人的两个数据点。通过线的斜率,我们可以直观地解释个人在反应中所做的变化。因为每个轴只有 5 个可能的值,所以许多线会重叠。为了使线条的密度明显,您可以通过将轴设为 1-500 而不是 1-5 来伪造这一点,并对每个绘图的确切位置应用随机抖动。那么它们就不会精确重叠,
一种数值方法是为每个受访者计算一个变量,显示他们在两个问题之间答案的转变方向和程度。如果有人在第一个问题上回答为 1,在第二个问题上回答为 3,那么您将计算这个变化变量为 +2。然后,您可以通过多种不同方式进行报告;例如,x、y 和 z% 的受访者对两个问题的回答更高、更低或相同;你可以给自己一个很好的堆积条形图,从+4到-4等。
鉴于彼得埃利斯的评论,我认为这些方法是有道理的,即整体群体行为掩盖了个人所做的转变,有趣的是个人转变。您可以查看具有正值、0 或负值的组,并了解它们在人口统计或政治派别方面有何不同。
我主要担心的是数据被框定为“时间 1”和“时间 2”,而事实并非如此。这是“问题1”和“问题2”。这并不是说它没有价值,它只是一种完全不同的数据收集方式,我们希望能告诉我们更多关于他们当前的正面和负面意见,以及他们目前对任何转变的看法。那还是有价值的,只是不同而已。
您的结果是成对的有序类别,因此 t 检验不合适,但McNemar 检验的概括将是合适的。阅读链接页面以了解总体思路,然后按照“相关测试”链接查找最适合您情况的测试。