参数是否等同于线性?

机器算法验证 回归 机器学习 广义线性模型 数据挖掘 线性模型
2022-03-23 09:30:04

一些监督学习技术,例如 GLM(例如逻辑回归),是线性 参数化的。另一方面,非参数监督学习算法(例如 CART 和树集合(Bagging/Boosting))的一个声称的优势是能够捕获预测变量之间以及预测变量和预测变量之间的非线性交互。

我也知道(例如)核回归是非参数 非线性的。

这让我想到了我的问题:parametric总是与linear齐头并进吗?(和非线性的参数?)

线性模型与非线性模型的局限性是什么例如,与逻辑回归相比,使用树的共同优势是什么?内核 PCA 而不是常规 PCA?

抱歉,这似乎是很多问题,我有点困惑,但我认为一切都密切相关。

2个回答

对于所有实际目的,线性始终是参数化的。线性是什么意思?这意味着您要说明变量之间的线性关系,例如y=β0+βx. 你的参数是β0,β1. 因此,通过声明关系是线性的,您就是在声明参数。

当您说非参数时,您没有说明任何特定形式的关系。你可以说y=f(x), 在哪里f(.)是一些函数,可以是线性的或非线性的。

只有当真正的关系是非线性的时,线性模型的局限性才存在。例如,力等于质量和加速度的乘积F=ma,即给定质量的加速度的线性函数。因此,通过将其建模为F=f(a;m)相对于线性形式,您没有获得任何收益。

问题在于,在社会科学中,我们不知道这种关系是什么,它们是否是线性的。因此,我们通常可以通过不将自己限制在线性模型中来获得收益。缺点是非线性模型通常更难以估计。

在非线性模型中,我们通常假设某种非线性关系,例如vt=v0t. 在这种情况下,它是时间的平方根函数,参数为v0,即这是一个参数模型。

非参数则更加松散,它甚至没有详细说明关系的形式。它只会说vt=f(t),时间的一些函数。一个例子是风险价值计算,其中 VaR 是α投资组合损失的分位数。在这里,我们没有指定什么是损失分布,我们只是得到损失分布的分位数。

参数和线性:你知道这个,它包括一堆东西。(普通最小二乘线性回归是一个明显的例子,但还有其他例子)

参数和非线性:非线性回归方法就是一个明显的例子。

非参数和非线性:再一次,你知道这个;有很多东西。样条曲线或局部回归方法就是示例,ACE 和 AVAS 之类的方法也是如此(尽管我提到的那些都是通过线性方法实现的近似非线性关系)。

非参数和线性:由于“非参数”也可以指分布形式的无限维而不是函数关系(参见非参数统计的巨大领域——“非参数”一词起源于此,顺便说一下,在 Wolfowitz 中, 1942 [1]),并且可以在不假设任何参数模型的情况下拟合线性关系,“非参数和线性”是一回事。

这个答案有一些明确的例子,我在这里复制了一个情节:
在此处输入图像描述

(蓝色是最小二乘,红色是斜率基于 Spearman 等级相关性的线性拟合,绿色是斜率基于 Kendall tau 的线性拟合。)

[1]:Wolfowitz, J. (1942),
“加性分区函数和一类统计假设”,
Ann。数学。统计学家。,第 13 卷,第 3 期,247-279。