正则化是否仅仅意味着使用增强的损失函数?

人工智能 机器学习 参考请求 术语 正则化
2021-10-31 03:58:52

我们需要使用损失函数来训练神经网络。

一般来说,损失函数只取决于期望的输出y和实际输出y^并表示为L(y,y^).

按照我目前的理解,

正则化只不过是使用新的损失函数 L(y,y^)其中必须包含一个λ用于训练神经网络的术语(正式称为正则化术语),可以表示为

L(y,y^)=L(y,y^)+λ(.)

在哪里(.)称为正则化函数。基于函数的定义可以有不同的正则化方法。

我目前的理解是否完整?或者机器学习中是否还有其他技术也被认为是正则化技术?如果是,我在哪里可以阅读有关该正则化的信息?

2个回答

正则化不限于像 L1/L2 正则化这样的方法,它们是您展示的特定版本。

正则化是任何可以防止网络过度拟合并帮助网络更适用于未见数据的技术。其他一些技术是 Dropout、Early Stopping、Data Augmentation,通过减少可训练参数的数量来限制网络的容量。

另外,请记住,不仅仅是损失函数的任何增强都是正则化。

例如,您可以向损失函数添加项,以对解决方案施加约束,但不会防止过度拟合,也不会促进泛化。