什么时候需要偏置正则化和激活正则化?

人工智能 神经网络 喀拉斯 正则化 权重
2021-10-22 06:42:59

对于 TensorFlow 上的 Keras,层类构造函数附带以下内容:

  • kernel_regularizer=...
  • bias_regularizer=...
  • activity_regularizer=...

例如,密集层:
https ://www.tensorflow.org/api_docs/python/tf/keras/layers/Dense#arguments_1

第一个kernel_regularizer很容易理解,它对权重进行正则化,使权重更小,以避免仅对训练数据进行过度拟合。

kernel_regularizer了吗?我应该什么时候bias_regularizer使用activity_regularizer

1个回答

正则化器被用作对抗过度拟合的一种手段。它们本质上是创建一个成本函数惩罚,试图阻止数量变大。我主要使用内核正则化器。首先,我尝试使用 dropout 层来控制拟合。如果这不起作用或导致训练准确性差,我尝试使用内核正则化器。我通常会在那个时候停下来。我认为活动正则化将是我防止输出变大的下一个选择。我怀疑有效的权重正则化几乎可以达到相同的结果。