用于测量神经网络复杂性的 VC 维度有哪些替代方法？

机器算法验证 神经网络 数理统计 vc-维度 pac学习
2022-01-22 05:25:25

我遇到了一些衡量神经网络复杂性的基本方法：

  • 朴素和非正式：计算神经元、隐藏神经元、层或隐藏层的数量
  • VC 维度（Eduardo D. Sontag [1998] “神经网络的 VC 维度” [ pdf ]。）
  • 的过程粒度和渐近计算复杂度度量TCd0。

还有其他选择吗？

首选：

  • 如果复杂度度量可用于在相同尺度上测量来自不同范式的神经网络（测量反向传播、动态神经网络、级联相关等）。例如，VC 维可用于网络上的不同类型（甚至神经网络以外的事物），而神经元数量仅在激活函数、信号（基本和与尖峰）等非常特定的模型之间有用。网络的属性是一样的。
  • 如果它与网络可学习的功能复杂性的标准度量有很好的对应关系
  • 如果在特定网络上计算指标很容易（不过，最后一个不是必须的。）

笔记

这个问题基于CogSci.SE上的一个更一般的问题。

2个回答

您可能想看看 John Langford 和 Rich Caruana 的论文“(Not) Bounding the True Error (NIPS, 2001)

摘要指出：

我们提出了一种基于 PAC-Bayes 界限来界定连续值分类器的真实错误率的新方法。该方法首先通过确定模型中每个参数对噪声的敏感程度来构建分类器的分布。然后可以使用 PAC-Bayes 界严格限制通过敏感性分析找到的随机分类器的真实错误率。在本文中，我们展示了人工神经网络的方法，其结果与最佳确定性神经网络边界相比提高了 2 3 个数量级。

它们表明您可以将 PAC-Bayes 样式边界应用于随机神经网络。然而，该分析仅适用于具有 sigmoid 传递函数的 2 层前馈神经网络。在这种情况下，复杂度项仅取决于节点的数量和权重的方差。他们表明，对于这种设置，边界有效地预测了何时会发生过度训练。不幸的是，它并没有真正击中您的任何“首选”属性！

此外，您可能还对 Peter Bartlett 教授所做的脂肪粉碎维度工作感兴趣。这里是对神经网络复杂性分析的介绍，在 1998 年 IEEE 论文中：The Sample Complexity of Pattern Classification with Neural Networks: The Size of the Weights is More Important than the Size of the Network (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

其它你可能感兴趣的问题
上一篇正常残差是什么意思，这对我的数据有什么影响？ 下一篇预测连续变量时应该如何实现决策树拆分？