权重衰减指定神经网络中的正则化。

在训练期间，将正则化项添加到网络的损失中以计算反向传播梯度。该weight decay值决定了这个正则化项在梯度计算中的主导地位。

根据经验，您拥有的训练示例越多，该术语应该越弱。您拥有的参数越多，这个术语就应该越高。

因此，权重衰减是一个惩罚大权重的正则化项。当权重衰减系数大时，大权重的惩罚也大，小权重可以自由增长。

所以，现在如果你回到阅读你在问题中链接的答案，现在就完全有意义了。