在基本的机器学习中,我们学习了以下“经验法则”:
a) 您的数据大小应至少是假设集的 VC 维度大小的 10 倍。
b) 具有 N 个连接的神经网络的 VC 维数约为 N。
那么,当深度学习神经网络拥有数百万个单位时,这是否意味着我们应该拥有数十亿个数据点?你能解释一下吗?
在基本的机器学习中,我们学习了以下“经验法则”:
a) 您的数据大小应至少是假设集的 VC 维度大小的 10 倍。
b) 具有 N 个连接的神经网络的 VC 维数约为 N。
那么,当深度学习神经网络拥有数百万个单位时,这是否意味着我们应该拥有数十亿个数据点?你能解释一下吗?
你所说的经验法则不能应用于神经网络。
神经网络有一些基本参数,即它的权重和偏差。权重的数量取决于网络层之间的连接数量,而偏差的数量取决于神经元的数量。
所需数据的大小高度取决于 -
话虽如此,了解模型是否过度拟合的更正确和肯定的方法是检查验证误差是否接近训练误差。如果是,那么模型工作正常。如果不是,那么模型很可能是过拟合的,这意味着您需要减小模型的大小或引入正则化技术。