为什么贝叶斯统计在统计过程控制中不受欢迎?

机器算法验证 贝叶斯 质量控制
2022-01-21 15:40:45

我对贝叶斯与常客辩论的理解是常客统计:

  • 是(或声称是)客观的
  • 或至少不偏不倚
  • 所以不同的研究人员,使用不同的假设仍然可以得到定量可比的结果

而贝叶斯统计

  • 声称做出“更好”的预测(即更低的预期损失),因为它可以使用先验知识(以及其他原因)
  • 需要更少的“临时”选择,用(至少在原则上)具有真实世界解释的先验/模型选择来代替它们。

鉴于此,我预计贝叶斯统计在 SPC 中会非常流行:如果我是一个试图控制我的过程质量的工厂老板,我会主要关心预期损失;如果我可以减少这一点,因为我比我的竞争对手拥有更多/更好的先验知识,那就更好了。

但实际上我所读到的关于 SPC 的所有内容似乎都是坚定的常客(即没有先验分布、所有参数的点估计、许多关于样本大小的临时选择、p 值等)

这是为什么?我可以理解为什么频率统计在 1960 年代是更好的选择,当时 SPC 是使用笔和纸完成的。但是为什么从那以后没有人尝试不同的方法呢?

3个回答

警告我很久以前写了这个答案,几乎不知道我在说什么。我不能删除它,因为它已被接受,但我不能支持大部分内容。


这是一个很长的答案,我希望它会在某种程度上有所帮助。SPC 不是我的领域,但我认为这些评论足够笼统,适用于此处。

我认为最常被引用的优势 -结合先前信念的能力- 是应用/经验领域的弱优势。那是因为你需要量化你的先验。即使我可以说“嗯,z 级绝对不可信”,我也无法终生告诉你低于 z 会发生什么。除非作者开始成批发布他们的原始数据,否则我对先验的最佳猜测是从以前的工作中提取的条件时刻,这些条件可能或可能不适合与您所面临的条件相似的条件。

基本上,贝叶斯技术(至少在概念层面上)非常适合当您有一个强大的假设/想法/模型并希望将其用于数据,然后看看您的错误与否。但是,您通常不会查看您对业务流程的某个特定模型是否正确;你更有可能没有模型,并正在查看您的流程将要做什么。你不想推你的结论,你希望你的数据来推你的结论。如果您有足够的数据,无论如何都会发生这种情况,但是在这种情况下,为什么还要打扰先验呢?也许这是过度怀疑和规避风险,但我从未听说过一个乐观的商人也取得了成功。没有办法量化你对自己信念的不确定性,你宁愿不要冒对错误的事情过度自信的风险。所以你设置了一个无信息的先验,优势就消失了。

这在 SPC 案例中很有趣,因为与数字营销不同,您的业务流程不会永远处于不可预测的变化状态。我的印象是,业务流程往往会有意地、渐进地改变。也就是说,你有很长的时间来建立良好、安全的先验。但请记住,先验都是关于传播不确定性的。抛开主观性不谈,贝叶斯主义的优势在于它客观地在深度嵌套的数据生成过程中传播不确定性。对我来说,这确实是贝叶斯统计的好处。如果您正在寻找远远超出 20 分之一“重要性”截止值的过程可靠性,那么您似乎希望尽可能多地考虑不确定性。

那么贝叶斯模型在哪里呢?首先,它们很难实施. 说白了,我可以在 15 分钟内将 OLS 教给机械工程师,让他在另外 5 分钟内在 Matlab 中进行回归和 t 检验。要使用贝叶斯,我首先需要确定我要拟合什么样的模型,然后看看是否有一个现成的库,用我公司有人知道的语言。如果没有,我必须使用 BUGS 或 Stan。然后我必须运行模拟以获得基本答案,这在 8 核 i7 机器上大约需要 15 分钟。快速原型制作就这么多。其次,当你得到答案时,你已经花费了两个小时的编码和等待,只是为了得到与聚集标准错误的常客随机效应相同的结果。也许这一切都是冒昧和错误的,我根本不懂SPC。

我把贝叶斯主义比作一把非常优质的厨师刀、一个汤锅和一个炒锅频率主义就像一个厨房,里面装满了电视上的工具,比如香蕉切片机和意大利面罐,盖子上有孔,便于排水如果您是一名熟练的厨师,并且在厨房方面拥有丰富的经验——事实上,在您自己拥有大量知识的厨房中,厨房整洁有序,并且您知道所有物品的位置——您可以用您的一小部分选择做出令人惊奇的事情优雅,高品质的工具。或者,您可以使用一堆不同的小型 ad-hoc* 工具,这些工具需要零技能才能使用,来制作简单的餐点,真的不错,并且有几个基本的口味可以传达要点。你刚从数据矿回到家,你渴望得到结果;你是哪个厨师?

*贝叶斯同样是临时的,但不那么透明你的 coq au vin 里有多少酒?不知道,你关注它是因为你是专业人士。或者,你无法区分灰比诺和黑比诺,但 Epicurious 上的第一个食谱说要使用 2 杯红比诺,所以这就是你要做的。哪个更“临时”?

在我看来,贝叶斯统计存在一些与其广泛使用相冲突的缺点(在 SPC 以及其他研究领域):

  1. 与常客相比,估计更难(统计类中最广泛的部分采用常客方法。顺便说一句,调查这是否是贝叶斯统计有限普及的原因或影响会很有趣)。

  2. 很多时候,贝叶斯统计强加了对处理同一问题的不同方式的选择(例如,哪个是最好的先验?),而不仅仅是点击查看(无论如何,在频率论框架下也不应该鼓励这种方法)。

  3. 贝叶斯统计的一些主题很难由经验不足的统计学家管理(例如,不正确的先验);

  4. 它需要敏感性分析(通常在频率论框架下避免),以及一些主题的例外情况,例如缺失数据分析。

  5. 它只有一个(值得称赞的是,可免费下载)软件可用于计算。

  6. 使用贝叶斯方法成为一名自主研究人员比使用频率工具需要更多时间。

一个原因是贝叶斯统计直到 1990 年左右才被排除在主流之外。当我在 1970 年代学习统计学时,它几乎是异端(不是在所有地方,而是在大多数研究生课程中)。大多数有趣的问题都是棘手的,这无济于事。因此,今天几乎所有教授统计学(以及审阅期刊文章和设计课程)的人都被训练为常客。1990 年左右,随着马尔可夫链蒙特卡罗 (MCMC) 方法的普及,情况开始发生变化,这些方法逐渐进入 SAS 和 Stata 等软件包。我个人认为它们将在 10 年内更加普遍,尽管在专业应用程序 (SPC) 中它们可能没有太大优势。

正在使贝叶斯分析更广泛可用的一个小组是开发 STAN 包的小组 (mc-stan.org)。