我熟悉正则化,我们在成本函数中添加惩罚以强制模型以某种方式运行。但这是正则化的定义吗?
通常,我们进行正则化以获得某种意义上的“更简单”的模型。但是我们可以很容易地创建一个惩罚函数,迫使模型变得更复杂。这会被认为是正则化吗?
最常见的是对我们模型参数大小的惩罚。如果我们添加的惩罚不是模型参数的函数,而是模型输出的函数,那是否仍被视为正则化?或者这只是一个修改后的目标函数?
我熟悉正则化,我们在成本函数中添加惩罚以强制模型以某种方式运行。但这是正则化的定义吗?
通常,我们进行正则化以获得某种意义上的“更简单”的模型。但是我们可以很容易地创建一个惩罚函数,迫使模型变得更复杂。这会被认为是正则化吗?
最常见的是对我们模型参数大小的惩罚。如果我们添加的惩罚不是模型参数的函数,而是模型输出的函数,那是否仍被视为正则化?或者这只是一个修改后的目标函数?
根据维基百科,定义正则化是添加信息以解决不适定问题或防止过度拟合的过程。
一种常见的方法是将大参数值的惩罚项添加到损失函数中。还有许多其他的正则化方法。以下是其他几个示例: