我看了 Vapnik 的关于统计学习的书……我读了前几章。无论如何，最让我吃惊的是他认为奥卡姆剃刀已经过时了。
我认为这与假设更高维度显着改善拟合的情况有关。
我理解对了吗？奥卡姆剃刀不能像瓦普尼克所说的那样不再正确，这对吗？
是否有任何论点认为奥卡姆剃刀不应该被视为默认值？
确切的句子来自《统计学习的本质》第二版的序言，分别是：
自本书第一版以来的几年也改变了我们理解归纳问题本质的一般哲学。在对支持向量机进行多次成功实验后，研究人员对基于奥卡姆剃刀原理的经典泛化哲学的批评变得更加坚定。”
我希望有人能详细说明对奥卡姆剃刀的批评。
取决于您认为什么是“奥卡姆剃刀”；最初的提法是一个不清楚的神学胡说八道，因此它蓬勃发展成一堆（通常是不相容的）解释。
Vapnik 批评过于幼稚的版本，说越少拟合参数数量越少的模型越好，因为过多的参数意味着过度拟合，即在Runge 悖论的旋律中的某些东西。
这在机器学习中当然是错误的，因为“拟合的贪婪”不受数量参数的限制，而是（通过一些启发式）受未来数据的模型准确性的限制。
但这是否意味着 ML 训练在没有必要的情况下引入了多元化？我个人会说不，主要是因为第二部分——ML 模型通常比手工剃须的经典回归更好，所以这种额外的复杂性得到了回报。即使人类可以将其简化为更简单的理论，但这几乎总是以额外假设为代价，因此这不是一个公平的比较。