是否应该重新考虑预测准确性或最小化 MSE?

机器算法验证 回归 多重回归 预测模型 准确性 毫秒
2022-03-22 20:26:06

自 Breiman 以来,最大限度地提高预测准确性已成为预测建模的黄金标准它已经发展到这种状态是可以理解的:它可以“优化”,很容易在 k 倍样本之间进行校准,并且在大多数情况下,它是用于内部模型验证的一致统计数据。然而,它常常是模型价值的唯一标准——一个机械的和严格应用的指标——尽管它容易发生 p-hack、游戏和分析师欺诈,而且很少或根本没有考虑到其更广泛的业务和/或战略影响和意义。

是时候重新评估该指标在统计​​、机器学习和预测建模行业中的相对重要性了吗?

1个回答

这是一篇不错且深思熟虑的帖子,在我的工作生活中,我观察到您概述的事情是正确的 - 我工作场所的成功统计学家和科学家是那些可以从原始预测准确性中退后一步并提供模型或分析的人整体上适合手头的问题。有时这是原始的预测能力,但通常不是。

我在面试时明确地寻找这个,我最喜欢的建模问题的初步答案是

这得看情况...

我将在您的列表中添加一些示例。

实施成本

许多企业在过时的技术、cobol 或 fortran 代码库上运行核心系统,这些代码库在古老的大型机架构上运行。他们通常不愿意更换它们,因为这样做的固定成本很高(即使维护它们的可变成本很高)。这会对模型实施产生严重后果。有可能从随机森林或梯度增强器中获得预测性提升,但在生产环境中实现这种复杂性的模型可能完全不可行。

保质期

与实施成本相关,模型一旦实施,可能有很长的保质期,并有望在很长一段时间内提供合理的预测。具有最大可支持复杂度的模型非常难以拟合数据,但对总体分布变化和段之间的预测相关性变化的鲁棒性较差。

修修补补

业务人员倾向于修补生产模型,而我们作为建模者有时必须协助对生产系统进行热修复复杂模型对此更敏感,更难准确评估它们对生产调整的反应(与机械师讨论是否更容易进入 1980 年与 2010 年制造的汽车的引擎盖)。

对新信息的鲁棒性

分类预测器将来可能会获得新的类别,并且通常需要有原则的方法来处理这些,而无需重新调整模型并将其推向生产。

模型组件化

模型可能是更大系统优化的一部分,它对其形式和属性施加环境约束。这种情况的一个常见来源是,当模型是更大的数学优化方案的组成部分时,模型中的一些因果预测器被作为杠杆来提高业务成果。这可以对非常重要的预测变量施加平滑或可微性约束。

局部约束

一些模型比其他模型具有更好的局部性。例如,如果我想估计一个客户的价格弹性进行小的调整,那么一个高度局部的模型(即具有小带宽的密度平滑器,具有小参数的正则化样条,或具有大量削减的梯度树助推器)将即使在局部范围内,也总是使用较少的数据来支持推理。当这些推论用于做出重要决策时,这可能是不可取的,并且应该得到尽可能多的数据的支持。