大多数正则化(L1,L2)技术主要只关注权重项。但是正则化没有考虑偏差。据我了解 ,大偏差不会像拥有大权重一样使神经元对其输入敏感,反之亦然反之亦然。这意味着偏差与重量一样重要。
任何人都可以帮助我为什么 Bias 不考虑?
大多数正则化(L1,L2)技术主要只关注权重项。但是正则化没有考虑偏差。据我了解 ,大偏差不会像拥有大权重一样使神经元对其输入敏感,反之亦然反之亦然。这意味着偏差与重量一样重要。
任何人都可以帮助我为什么 Bias 不考虑?
正则化的目的是避免过度拟合,当你有太多的预测变量(即神经元)对结果有贡献时,就会发生过度拟合。因此,通过正则化,您基本上排除了一些神经元。
然而,偏差是每个神经元的内在属性。它不是传输前一层神经元结果的连接。也许你可以想象网络中的所有偏差都连接到一个具有恒定输出的单个虚拟神经元,但由于它是一个常数,它不是计算的结果,也不依赖于输入。
想象一下,你有一堆点大致位于 y=x 线上。尽管您可以找到一个通过每个点的多项式,但您可以争辩说 y=x 线是更好的逼近器,因为它不适合每个点的噪声。
这就是正则化的重点。当您有一个权重较小的网络时,一些小的差异不会产生太大影响,因此您会更难学习数据中的噪声。偏差的不同之处在于它们不会像权重一样影响神经元。偏差更像是一个阈值,在收集权重和先前激活的结果后,您会看到它是否足以使神经元变为正值。因此,您只关注正则化中的权重。希望这可以帮助!