“正规化”实际上指的是什么?

数据挖掘 机器学习模型 优化 正则化
2022-02-26 11:57:15

我熟悉正则化,我们在成本函数中添加惩罚以强制模型以某种方式运行。但这是正则化的定义吗?

通常,我们进行正则化以获得某种意义上的“更简单”的模型。但是我们可以很容易地创建一个惩罚函数,迫使模型变得更复杂。这会被认为是正则化吗?

最常见的是对我们模型参数大小的惩罚。如果我们添加的惩罚不是模型参数的函数,而是模型输出的函数,那是否仍被视为正则化?或者这只是一个修改后的目标函数?

1个回答

根据维基百科,定义正则化是添加信息以解决不适定问题或防止过度拟合的过程。

一种常见的方法是将大参数值的惩罚项添加到损失函数中。还有许多其他的正则化方法。以下是其他几个示例:

  • 增加数据量(通过收集更多数据或对现有数据进行数据扩充)
  • 提前停止训练过程
  • 在模型之前添加一个
  • Dropout - 在训练期间随机删除连接
  • 修剪 - 训练后删除连接