我理解经验风险最小化作为单独主题的含义，并且正在阅读结构风险最小化，我很难理解这两者之间的区别。
我在某处读到感知器使用经验风险最小化，而 SVM 使用结构。
我知道 SVM 考虑了模型的复杂性，因此它与结构风险最小化有些相关，这对我来说并不清楚有什么区别
经验风险最小化和结构风险最小化之间的区别？
数据挖掘
支持向量机
模型选择
感知器
2021-10-15 04:41:20
1个回答
支持向量机是由 Vapnik (1995,1998) 根据统计学习理论中的结构风险最小化原则(Vapnik, 1982) 开发的。
执行分类或回归的函数类别的复杂性和算法的泛化性是相关的。Vapnik-Chervonenkis (VC) 理论提供了复杂性的一般度量，并证明了误差的界限是复杂性的函数。结构风险最小化是这些边界的最小化，这取决于经验风险和函数类的容量
简单来说：
经验风险最小化 (ERM)是统计学习理论中的一项原则，它定义了一系列学习算法，并用于为其性能提供理论界限。核心思想是，我们无法确切知道算法在实践中的工作情况（真正的“风险”），因为我们不知道算法将处理的数据的真实分布，但我们可以衡量它的性能一组已知的训练数据（“经验”风险）。
注意这里的 h 代表 f——我们的分类器。此功能称为经验风险最小化 (ERM)。
结构风险最小化 (SRM)是机器学习中使用的归纳原则。通常在机器学习中，必须从有限的数据集中选择一个泛化模型，随之而来的问题是过度拟合——模型变得过于适应训练集的特殊性，而对新数据的泛化能力很差。SRM 原则通过平衡模型的复杂性和它在拟合训练数据方面的成功来解决这个问题。
这被称为结构风险最小化（SRM）。J(f) 是模型的复杂度，通常可以是向量空间的界。λ≥0 是选择惩罚项强度的系数。
其它你可能感兴趣的问题