我正在阅读很多关于在各种回归问题中使用样条曲线的内容。一些书籍(例如 Hodges Richly Parrameterized Linear Models)推荐惩罚样条。其他人(例如 Harrell Regression Modeling Strategies)选择受限三次样条。
这些在实践中有何不同?您是否经常会因使用其中一种或另一种而得到截然不同的结果?其中一个或另一个有特殊的优势吗?
我正在阅读很多关于在各种回归问题中使用样条曲线的内容。一些书籍(例如 Hodges Richly Parrameterized Linear Models)推荐惩罚样条。其他人(例如 Harrell Regression Modeling Strategies)选择受限三次样条。
这些在实践中有何不同?您是否经常会因使用其中一种或另一种而得到截然不同的结果?其中一个或另一个有特殊的优势吗?
根据我的阅读,您要求我们比较的两个概念是完全不同的野兽,需要进行类似苹果和橘子的比较。这使您的许多问题有些没有意义——理想情况下(假设可以以所需的形式为 RCS 基础写下摆动惩罚),您将使用受惩罚的受限三次回归样条模型。
受限三次样条(或自然样条)是由分段三次多项式函数构建的样条基础,这些函数在某些预先指定的位置或节点处平滑连接。受限三次样条与三次样条的区别在于,对受限版本施加了额外的约束,使得样条在第一个结之前和最后一个结之后是线性的。这样做是为了提高尾部样条曲线的性能.
使用 RCS 进行模型选择通常涉及选择结的数量及其位置,前者控制生成的样条曲线的摆动或复杂程度。除非在模型拟合时有一些进一步的步骤来规范估计的系数,否则结的数量直接控制样条复杂度。
这意味着用户在估计包含一个或多个 RCS 项的模型时需要克服一些问题:
就其本身而言,RCS 术语需要用户干预才能解决这些问题。
惩罚回归样条(sensu Hodges)仅针对他们自己的解决问题3.,但它们允许绕过问题1 .。这里的想法是,以及基础扩展,现在让我们假设这是一个三次样条基础,您还创建了一个摆动惩罚矩阵。摆动是使用估计样条的一些导数来测量的,使用的典型导数是二阶导数,惩罚本身表示在以下范围内积分的平方二阶导数. 这个惩罚可以写成二次形式
其中是惩罚矩阵,是模型系数。然后找到系数值以最大化惩罚对数似然 ceriterion
其中是模型的对数似然,是平滑度参数,它控制惩罚样条曲线摆动的强度。
由于惩罚对数似然可以根据模型系数进行评估,因此有效地拟合该模型成为寻找 λ 的最优值期间更新系数的问题。
可以使用交叉验证、广义交叉验证 (GCV) 或边际似然或受限边际似然标准来选择。后两者有效地将样条模型重铸为混合效应模型(基础的完美平滑部分变为固定效应,基础的摆动部分是随机效应,并且平滑度参数与随机效应的方差项成反比),这是霍奇斯在他的书中所考虑的。
为什么这解决了使用多少节的问题?好吧,它只是这样做。这解决了不需要在每个唯一数据点(平滑样条曲线)处设置一个结的问题,但您仍然需要选择要使用多少个结或基函数。但是,由于惩罚会缩小系数,因此您可以选择尽可能大的基维度来包含真实函数或与其接近的近似值,然后您让惩罚控制最终估计的样条曲线的摆动程度是,在基础中可用的额外潜在摆动被惩罚移除或控制。
惩罚(回归)样条曲线和 RCS 是完全不同的概念。没有什么能阻止您以二次形式创建 RCS 基和相关惩罚,然后使用惩罚回归样条模型中的想法估计样条系数。
RCS 只是一种可用于创建样条基的基,惩罚回归样条是估计包含一个或多个样条的模型的一种方法,并带有相关的摆动惩罚。
是的,在某种程度上,基于薄板样条 (TPS)。中的唯一数据值一样多的基函数。Wood (2003) 表明,您可以使用 TPS 基函数的特征分解来创建薄板回归个最大的发言权。您仍然必须指定,您要使用的基函数的数量,但选择通常基于您期望拟合函数的摆动程度以及您愿意承受的计算量。也不需要指定节点位置,并且惩罚会缩小系数,因此可以避免模型选择问题,因为您只有一个惩罚模型,没有多少具有不同节点数的未惩罚模型。
只是为了让事情变得更复杂,有一种样条基被称为 P 样条 (Eilers & Marx, 1996)),其中经常被解释为“惩罚”。P 样条是 B 样条基础,具有直接应用于模型系数的差异惩罚。在典型使用中,P 样条惩罚惩罚相邻模型系数之间的平方差,进而惩罚摆动。P 样条非常容易设置并产生稀疏的惩罚矩阵,这使得它们非常适合在基于 MCMC 的贝叶斯模型中估计样条项(Wood,2017)。
Eilers、PHC 和 BD 马克思。1996. 使用 -splines 和 Penalties 进行灵活平滑。统计。科学。
Wood, SN 2003。薄板回归样条。JR统计。社会党。B系列统计。方法论。65:95-114。doi:10.1111/1467-9868.00374
Wood, SN 2017。广义加法模型:R 简介,第二版,CRC 出版社。