数据挖掘 - 我们是否放置正则化参数（CC) 在核岭回归中有误差或权重项？ - 吾爱随笔录

我们是否放置正则化参数（CC) 在核岭回归中有误差或权重项？

数据挖掘支持向量机核心岭回归

2021-10-08 06:08:54

核岭回归关联一个正则化参数 $C$ 带有权重项（ $\beta$ ):

$\text{Minimize}: {KRR}=C\frac{1}{2} \left \|\beta\right\|^{2} + \frac{1}{2}\sum_{i=1}^{\mathcal{N}}\left\|e_i \right \|_2^{2} \\ \text{Subject to}:\ {\beta^T\phi_i}=y_i - e_i, \text{ }i=1,2,...,\mathcal{N}$

如果我们关联 $C$ 错误项如下：

$\text{Minimize}: {KRR}=\frac{1}{2} \left \|\beta\right\|^{2} + C\frac{1}{2}\sum_{i=1}^{\mathcal{N}}\left\|e_i \right \|_2^{2} \\ \text{Subject to}:\ {\beta^T\phi_i}=y_i - e_i, \text{ }i=1,2,...,\mathcal{N}$

那么第二个公式与第一个公式有何不同？

或者

我们可以关联吗 $C$ 内核岭回归中的权重项或误差项？

1个回答

如果您正确选择，两种配方都会导致相同的解决方案 $C$ 对于成本函数和如果 $C>0$ .

如果我们有正则化损失

J_{1} = \frac{1}{2} \sum_{n = 1}^{N} e_{n}^{2} + \frac{1}{2} C \sum_{k = 0}^{p} w_{k}^{2}

$J_1=\dfrac{1}{2}\sum_{n=1}^Ne_n^2+\dfrac{1}{2}C\sum_{k=0}^pw_k^2$

我们将有强大的正则化 $C$ 小正则化 $C$ .

如果我们划分损失 $J_1$ 由积极的 $C$ 我们得到损失

J_{2} = \frac{1}{2 C} \sum_{n = 1}^{N} e_{n}^{2} + \frac{1}{2} \sum_{k = 0}^{p} w_{k}^{2} .

$J_2= \dfrac{1}{2C}\sum_{n=1}^Ne_n^2+\dfrac{1}{2}\sum_{k=0}^pw_k^2.$

作为 $C>0$ 我们只是扩展了我们的损失函数 $J_1$ ，因此最小值不会改变。但是的解释 $C$ 如果我们将其替换为您在问题中提出的倒数以获得损失，则会发生变化

J_{3} = \frac{1}{2} \tilde{C} \sum_{n = 1}^{N} e_{n}^{2} + \frac{1}{2} \sum_{k = 0}^{p} w_{k}^{2} .

$J_3= \dfrac{1}{2}\tilde{C}\sum_{n=1}^Ne_n^2+\dfrac{1}{2}\sum_{k=0}^pw_k^2.$

和 $\tilde{C}$ 非常小，我们将有很强的正则化。而对于大 $\tilde{C}$ 我们会有小的正则化。这就是我们有时调用的原因 $\tilde{C}$ 逆正则化参数（例如参见支持向量机）。

其它你可能感兴趣的问题

上一篇不重要的特征对模型性能的影响下一篇最近邻中的距离是衡量相似性的好方法吗？