多少子问题会影响调查中的一个顺序问题?

机器算法验证 多重回归 分类数据 民意调查 序数数据 净推荐值
2022-04-16 12:42:33

我有一个可变的净推荐值 (NPS),它是调查中的一个项目,答案格式是序数,从 0 到 10。

然后,在同一个调查中还有子问题,有些是序数,有些是分类问题。

我想确定哪个子问题或哪组子问题是 NPS 的最佳预测指标。目标是能够优先关注哪些领域,以便随着时间的推移提高 NPS。

有什么合适的方法来识别和验证这种关系?

3个回答

我喜欢你的问题,我会比你问的更广泛地回答它。我将使用四种主要方法来确定提高净推荐值的机会,按照分析复杂程度和您使用 NPS 评估的项目的成熟度排序。(对于那些不熟悉的人,净推荐人是许多公司常用的满意度评分方法。除非你倾向于避免调查,否则你可能已经多次回答过“净推荐人”的问题。)

  1. 分割
  2. 开放式响应的定性评估
  3. 开放式响应的定量评估
  4. 实验

细分:企业通常可以沿着几个关键维度将其客户划分为少数几组。例如,在“新”和“回头客”之间,或者在“企业”和“小企业”之间。这些通常与定价和企业财务报告中的区别密切相关,而且令人高兴的是,它们通常具有显着不同的 NP 分数。差异有时会令人惊讶。这种方法的好处是它需要很少的通信开销。大多数聆听您数据的人已经熟悉您描述的细分市场,并且可以设想产品的哪些方面可能会促使某些群体比其他群体或多或少地感到满意。

开放式的定性评估: Net Promoter 实现的一个共同组成部分是一个后续问题,类似于“你为什么要以这种方式回答”。通常,对于 Net Promoter 的新项目,只需阅读这些响应并将它们与它们的序数响应相关联,就会让人们拍他们的额头。“我以为我们的客户喜欢这个功能!” “人们喜欢橡胶手柄 - 让我们把它们放在所有东西上!” 这种方法通常很快就会消失,因为企业会识别所有表面机会并做出战略决策来解决或不解决它们。

开放式的定量评估:在定性评估的基础上,定量评估可以产生一些额外的惊喜。这种方法通常是用一个或多个类别标记每个开放式响应,这可以在小范围内手动完成,或者在更大范围内使用各种软件。这可以揭示更多的见解,例如“我知道这是一个问题......但我没有意识到它影响了我们 30% 的客户!” 或“大多数抱怨 xyz 的人也抱怨 abc——也许有一个共同的根本原因”

实验:使用 Net Promoter 执行严格的受控变量随机分配实验通常很困难。由于净推荐人旨在对公司与其客户之间的关系进行非常全面的衡量,因此公司通常在尝试整个关系的能力方面受到限制,因为维持可能相当于两个关系的费用和风险同时分离的业务。也就是说,其他不太严格的实验形式是可能的。

  • 可以评估企业做出的每个重大决策对 NPS 的潜在影响,然后可以随后衡量由此产生的变化。因为它不能一次隔离一个变量,所以必须小心建立现实的预测,并且对事先没有预测到的结果要非常谨慎。
  • 有时我们很幸运,出现了自然的实验小组,让我们能够对过去进行实验。由于建筑的后勤限制,全国性零售商可能仅在西海岸推出新的商店形式,或者内容公司可能需要在当地法规不同的国家/地区审查某些类型的搜索。这不是随机分配,但有时很接近。

预测:我知道我没有解决您关于在调查中使用其他问题来“预测”NPS 的真正问题,这是故意的。您描述的方法有一定的局限性,虽然我计划在不久的将来自己再试一次,但过去我的成功有限。

我见过两种主要的预测方法:相关性和 logit 回归。相关性着眼于两个变量之间关系的强度(它们总是一起上升和下降吗?相反?没有关系?)这个想法是找到与 NPS 最密切相关的变量。Logit 回归是一种技术,它采用您提供的所有变量并使用它们来尝试预测特定结果的概率。例如,您可以尝试预测您的三个 NPS 结果(促进者、中立者、贬低者)中的每一个的概率。由此,您可以建立一个模型,显示不同变量的多少变化会影响 NPS 上升或下降,将具有最高预测概率的 NPS 结果作为最终结果。我还听说有人使用带有 NPS 的结构方程建模,

预测器方法的一些局限性

  • 调查中很少有好的自变量:为了可行,这种方法要求您将 NPS 视为因变量,并将其他问题视为独立的。但是,即使是许多“确凿的事实”类型的问题,例如您可能用于关键客户群的问题,也并非真正独立于 NPS。回头客之所以成为回头客,部分原因是他们过去有过积极的体验。大多数客户满意度问题都是同步进行的,除非您提供的产品具有非常独特且交互性极低的组件,可以在两种不同的服务级别上执行(休闲酒店可能会尝试打入会议业务,但在第一的,
  • 沟通困难:这种分析方法通常与实施建议的小组相距甚远。因为它依赖于相对复杂的分析,所以实施者通常很难根据这些建议采取行动,因为他们不了解需要修复什么。

NPS 可以很好地用作性能监视或控制工具。但你想发现的是另一回事:你想找出满足感的真正驱动因素。

NPS 是一个总分。如果你想说一些关于满意度的驱动因素,那么你必须开发一个模型来解释 10 分制的“终极问题”。

然而,评级量表受到量表使用异质性的污染(见论文)。如果您运行回归模型,您会发现这些子问题高度相关,导致 VIF 很高,并且可能没有显着的 beta,这取决于您有多少子问题。您也可能对子问题的重要性过于自信,具体取决于确切的模型设置。

考虑这个简单的 R 脚本:

nobs=1000
p=12
means = rnorm(nobs)
vars = 1/rgamma(nobs,3,3)
data=matrix(,nobs,p)
for(i in 1:nobs){
data[i,]=rnorm(p,means[i],sqrt(vars[i]))
}
cor(data)

尽管这 12 个变量之间没有关系,但相关性远非 0。

如果您进一步降低规模级别(发起人是/否),您会丢弃信息。但是,规模调整模型非常具有挑战性,尤其是当您有序数和分类变量时,并且您正在寻找现成的解决方案时。

您可以将底部、中间和顶部框视为分类结果,并使用贝叶斯网络对关系进行建模。BN 将所有内容分类处理,从而提供了一个很好的通用工具。

你考虑过联合实验吗?根据服务或产品,这是一个不错的选择。

这里已经有一些很好的答案。这是一个更简单的问题,它实际上是对您收到的好答案的补充,而不是替代品。有序逻辑回归是对有序响应变量建模的合适工具。有一个实现 -polr()在 Benables & Ripley's library(MASS)in R.

然后你又回到了模型选择的标准世界,在交叉验证上有很多好的问题和好的答案。