看到这个问题：分析李克特量表

Agresti 做了很多这种有序数据分析（例如，“Analysis of Ordinal Categorical Data”）。

对于您的特定问题，我建议您查看三种方法：多重假设检验http://en.wikipedia.org/wiki/Multiple_comparisons，混合效果模型http://en.wikipedia.org/wiki/Mixed_model R 中的包lme4函数lmer(), 和累积链接混合模型 http://cran.r-project.org/web/packages/ordinal/vignettes/clmm2_tutorial.pdf R中的包ordinal函数。clmm()

一般来说，我不建议进行传统的多重测试，因为它假设数据是比率（而不是像你一样的序数）。如果你想做出这样的假设，你可以测试看看哪些问题的平均反应不同于 Lickert 量表的中心，然后使用校正来考虑你做了 9+6+7 的事实+2+4+2 测试。

对于混合效应模型，使用随机效应，并分别处理每组问题（“程序的实用性”等）。将每个问题视为随机效应（您可以选择一组可能的问题，并且您碰巧选择了这 9 个关于效用的问题），并将受访者视为随机效应（您可能会选择一组可能的人）想收集意见，而你碰巧抽样了这个小组）。因此，模型是其中是人对问题的响应，的随机效应（你有 16 个人),$y_{ij}=\mu + a_i + b_j + e_{ij}$$y_{ij}$$i$$j$$a_i$$i$$b_j$是由于问题引起的随机效应（“效用”组中有 9 个问题），而对问题的回答与模型有多少不同的误差。$j$$e_{ij}$$i$$j$

使用该lme4包，您可以估计并测试它是否与李克特量表的中心显着不同。$\mu$

使用该ordinal软件包，您可以更仔细地执行此操作，同时考虑到您的数据是有序的而不是比率，但是您会失去线性混合效应模型的一些可解释性。

这些包使用一种有趣的符号。假设您的数据位于名为dat列的数据框中response，question, person。然后您可以按如下方式实现：

require(lme4)
lmer(response ~ 1 + (1 | question) + (1 | person), data=dat)
require(ordinal)
clmm(ordered(response) ~ 1 + (1 | question) + (1 | person), data=dat)

通常问题会根据领域进行分组（您的组就像领域一样），并通过对各个问题的分数求和（相当于平均）对领域进行比较。如果得分从一个问题到另一个问题是一致的，这是有道理的。

平均值是完全可以接受的。有些人喜欢认为这没有意义，因为两个值之间的距离（例如 2 - 3 与 4 - 5）不一定是同质的。这些不是让我夜不能寐的问题。另一种选择是考虑机顶盒响应的比例。在调查设计中，您可以将获得 5 或 4 或以上的二项式结果视为实现所需满意度的 Y/N 指标。您可以通过获取 top-box 响应的平均数量来轻松地将问题集中在一组问题中。此处的 100% 表示培训师在所有问题上都获得了最佳答案，而 66% 表示 6 个问题中有 4 个达到了令人满意的水平。

对于 16 位受访者，您可能会更好地通过单独阅读每个人的调查回复，并跟进他们以了解任何特别高或低的分数 :-) 但是，由于这是一个统计问答网站，我将讨论统计方法。

理想情况下，该调查会询问有关程序实用性的整体问题，并将其用作您的“成功”指标，并将 9 个单独的问题用作您的“诊断”指标，等等每个整体主题。

缺少这一点，我建议只使用与单个问题相同的度量。平均值、中位数、Top-box 得分等在对所有 9 个问题的整个回答集上运行。这种方法的缺点是它假设 9 个问题中的每一个都是独立的并且同样重要。实际上，有 9 个关于程序实用性的问题，你可能有几个问题问基本相同的事情，在你的分析中过度重视这些主题。您可能还有几个问题，询问受访者实际上与更多整体效用无关的事情。

如果您有无限的时间通过因子分析（识别可以组合成单个组合度量的维度组），您可以在一定程度上纠正重叠的主题，尽管即使这种方法也受到限制，因为它可能会被巧合欺骗。您无法纠正不同主题的相对重要性，因为数据中没有任何内容可以告诉您什么更重要。