我使用 RBF 核函数来实现一种基于核的机器学习算法(KLPP),得到核矩阵
被证明是极度病态的。 L2-范数的条件数来
有什么办法可以让它变好?我猜参数需要调整,但我不知道具体如何。
谢谢!
我使用 RBF 核函数来实现一种基于核的机器学习算法(KLPP),得到核矩阵
有什么办法可以让它变好?我猜参数需要调整,但我不知道具体如何。
谢谢!
减小内核宽度通常会减少条件数。
但是,对于任何基函数或点分布,只要基函数重叠,核矩阵就可以变得奇异或接近奇异。这样做的原因其实很简单:
现在想象选择两个点和并慢慢旋转它们,以便它们交换位置。的行列式将转换符号,在中间的某个点变为零。此时,根据定义,
几个建议:
选择平均距离 | 随机 - 最近的。中均匀分布在单位立方体中的个点的廉价近似是 0.5 /。)
我们想要对于附近较大,对于背景噪声较小;绘制几个随机。
将从 0 移开,,左右;也就是正则化。
查看求解的权重。如果有些仍然很大(无论条件数如何),那将倾向于证实 Boyd(下)高斯 RBF 从根本上是弱的。
(RBF 的一种替代方法是反距离加权,IDW。它具有自动缩放的优点,对于最近距离 1 2 3 与 100 200 300相同 我还发现用户明确选择,数字要考虑的近邻,比在上的网格搜索更清晰。)
John P. Boyd,快速高斯变换对高斯径向基函数系列求和的无用性,说
高斯 RBF 插值对于大多数序列都是病态的,因为插值是具有指数大系数的项的微小差异。
希望这可以帮助; 请分享你的经验。