PAC 学习和 VC 维度是否与实践中的机器学习相关?

人工智能 机器学习 计算学习理论 pac学习 vc-维度 vc理论
2021-10-24 01:50:58

PAC 学习和 VC 维度是否与实践中的机器学习相关?如果是,它们的实用价值是什么?

据我了解,对这些理论有两个打击。首先是所有结果都取决于知道要使用的适当模型,例如复杂程度。第二个是界限非常糟糕,深度学习网络需要大量的数据才能达到上述界限。

1个回答

是的,PAC 学习可能与实践相关。有一个研究领域结合了 PAC 学习和贝叶斯学习,称为PAC-贝叶斯(或PAC-贝叶斯学习,其目标是为贝叶斯估计器找到类似 PAC 的界限。

例如, Benjamin Guedj的论文Aprimer on PAC-Bayesian learning (2019) 中的定理 1(McAllester 界)对该主题进行了很好的概述,显示了可用于设计贝叶斯估计器的特定界。PAC-Bayes 的一个优点是您可以限制贝叶斯估计器的泛化能力,因此您不一定需要在测试数据集上测试您的估计器。论文的第 5 节和第 6 节详细介绍了 PAC-Bayes 的实际应用。

参见如多数投票的风险界限:从 PAC-贝叶斯分析到学习算法(2015),P. Germain 等人。对于 PAC-Bayes 的特定应用。还有相关的 Python 实现

另请参阅这些相关幻灯片此博客文章(由同一作者和 John Shawe-Taylor 撰写),它们将指向他们有关该主题的视频教程。

VC 维度在实践中也很有用。例如,在论文Model Selection via the VC Dimension (2019) M. Mpoudeu 等人中。描述了一种基于VC维度的模型选择方法。