RBF 核矩阵是否倾向于病态?

计算科学 线性代数 机器学习 插值 支持向量机
2021-12-10 05:16:24

我使用 RBF 核函数来实现一种基于核的机器学习算法(KLPP),得到核矩阵K

K(i,j)=exp((xixj)2σm2)
被证明是极度病态的。 L2-范数的条件数来10171064

有什么办法可以让它变好?我猜参数σ需要调整,但我不知道具体如何。

谢谢!

2个回答

减小内核宽度σm通常会减少条件数。

但是,对于任何基函数或点分布,只要基函数重叠,核矩阵就可以变得奇异或接近奇异。这样做的原因其实很简单:

  • 核矩阵K当其行列式时为单数det(K)为零。
  • 假设您的试验点保持不变,在插值中交换两个点相当于交换xixjK
  • 交换矩阵中的两行会切换其行列式的符号。

现在想象选择两个点并慢慢旋转它们,以便它们交换位置。的行列式将转换符号,在中间的某个点变为零。此时,根据定义,xixjKK

几个建议:

  1. 选择平均距离 | 随机 - 最近的中均匀分布在单位立方体中的个点的廉价近似是 0.5 /。) 我们想要对于附近较大,对于背景噪声较小;绘制几个随机σxxiNRd,d 2..5N1/d
    ϕ(|xxi|)xixx

  2. 从 0 移开,左右;也就是正则化。KKK+λIλ106

  3. 查看求解的权重。如果有些仍然很大(无论条件数如何),那将倾向于证实 Boyd(下)高斯 RBF 从根本上是弱的。(K+λI)w=f

(RBF 的一种替代方法是反距离加权,IDW。它具有自动缩放的优点,对于最近距离 1 2 3 与 100 200 300相同 我还发现用户明确选择,数字要考虑的近邻,比在上的网格搜索更清晰。)Nnearσ,λ

John P. Boyd,快速高斯变换对高斯径向基函数系列求和的无用性,说

高斯 RBF 插值对于大多数序列都是病态的,因为插值是具有指数大系数的项的微小差异。

希望这可以帮助; 请分享你的经验。