PAC 学习和 VC 维度是否与实践中的机器学习相关?如果是,它们的实用价值是什么?
据我了解,对这些理论有两个打击。首先是所有结果都取决于知道要使用的适当模型,例如复杂程度。第二个是界限非常糟糕,深度学习网络需要大量的数据才能达到上述界限。
PAC 学习和 VC 维度是否与实践中的机器学习相关?如果是,它们的实用价值是什么?
据我了解,对这些理论有两个打击。首先是所有结果都取决于知道要使用的适当模型,例如复杂程度。第二个是界限非常糟糕,深度学习网络需要大量的数据才能达到上述界限。
是的,PAC 学习可能与实践相关。有一个研究领域结合了 PAC 学习和贝叶斯学习,称为PAC-贝叶斯(或PAC-贝叶斯)学习,其目标是为贝叶斯估计器找到类似 PAC 的界限。
例如, Benjamin Guedj的论文Aprimer on PAC-Bayesian learning (2019) 中的定理 1(McAllester 界)对该主题进行了很好的概述,显示了可用于设计贝叶斯估计器的特定界。PAC-Bayes 的一个优点是您可以限制贝叶斯估计器的泛化能力,因此您不一定需要在测试数据集上测试您的估计器。论文的第 5 节和第 6 节详细介绍了 PAC-Bayes 的实际应用。
参见如多数投票的风险界限:从 PAC-贝叶斯分析到学习算法(2015),P. Germain 等人。对于 PAC-Bayes 的特定应用。还有相关的 Python 实现。
另请参阅这些相关幻灯片和此博客文章(由同一作者和 John Shawe-Taylor 撰写),它们将指向他们有关该主题的视频教程。
VC 维度在实践中也很有用。例如,在论文Model Selection via the VC Dimension (2019) M. Mpoudeu 等人中。描述了一种基于VC维度的模型选择方法。