核岭回归与核回归相同吗?

机器算法验证 Python 机器学习 scikit-学习
2022-03-24 04:09:35

我知道Nadaraya-Watson 内核回归对我来说新的是来自scitkit-learn 的 KernelRidge的Kernel ridge 回归. 它提到使用了内核技巧,这在 Nadaraya-Watson 内核回归中没有完成,所以在我看来它们是不同的概念。我是对的,还是他们毕竟是一样的?kernel='rbf'

2个回答

嗯你是对的。您实际上替换了方阵XTX带内核K当你估计你的系数时。

,它们与算法不同,尽管您可能能够找到成对的内核,它们在预测变量方面给出相同的答案(模型)。

Kernel Regression(最简单的形式)是具有均值预测的密度估计器:

μkernel-regression=iwiyi,wi=K(X,Xi)jK(X,Xj)
Kernel Ridge Regression是具有均值预测的回归(最小二乘型反演):
μkernel-ridge-regression=iwiyi,wi=jK(X,Xj)Kji1(X,X)

如前所述,内核岭回归的“内核”部分实际上是替换了方阵XTX带内核K当你估计你的系数时。

我不知道为什么“内核回归”意味着“内核密度估计”......如果有人知道历史,或者知道两种方法之间映射的完整结果,请更新这个答案。

这是相关的: Kernel Regression 是否类似于 Gaussian Process Regression?

您可以在 Kevin Murphy 的(较新的)书以及较旧的 Rasmussen 书中看到关于他的讨论。