VC 维度告诉我们关于深度学习的哪些信息?

机器算法验证 机器学习 神经网络 深度学习 vc-维度
2022-02-25 23:06:26

在基本的机器学习中,我们学习了以下“经验法则”:

a) 您的数据大小应至少是假设集的 VC 维度大小的 10 倍。

b) 具有 N 个连接的神经网络的 VC 维数约为 N。

那么,当深度学习神经网络拥有数百万个单位时,这是否意味着我们应该拥有数十亿个数据点?你能解释一下吗?

1个回答

你所说的经验法则不能应用于神经网络。

神经网络有一些基本参数,即它的权重和偏差。权重的数量取决于网络层之间的连接数量,而偏差的数量取决于神经元的数量。

所需数据的大小高度取决于 -

  1. 使用的神经网络类型
  2. 网络中使用的正则化技术
  3. 用于训练网络的学习率。

话虽如此,了解模型是否过度拟合的更正确和肯定的方法是检查验证误差是否接近训练误差。如果是,那么模型工作正常。如果不是,那么模型很可能是过拟合的,这意味着您需要减小模型的大小或引入正则化技术。