OLS 是线性回归的常客方法吗?

机器算法验证 回归 多重回归 线性模型 线性的 常客
2022-03-06 05:49:31

在这篇维基百科文章中,有这句话:

这是一种常客方法

'this' 是指 OLS 吗?

它真的是“a”而不是“the”吗?还有哪些其他常客方法?据我所知,我们必须尽量减少 [ε1,ε2,...,εn][ε1,ε2,...,εn]'。

编辑:这与我之前的问题有关蒂姆提到'现在,以贝叶斯方式估计逻辑回归......'

那么,如何以常客的方式做到这一点呢?OLS?召回涉及线性回归的统计类。猜猜还有MLE。

3个回答

OLS 本身并不意味着正在执行何种类型的推理(如果有)。我会说这只是一个描述性统计数据。

如果您假设一些生成模型(采样分布),并尝试推断 OLS 系数,那么您可以自由地进行频率推断或贝叶斯推断。

在统计学的民间说法中,OLS 往往被认为是参数估计的一种常客方法,因为它没有明确涉及被估计参数的先验分布。但严格来说,OLS 只是一种数学运算,其结果具有频率论和贝叶斯解释。

从频率论者的角度来看,如果通常的线性模型假设成立,则 OLS 参数估计值等于真实参数值加上源自抽样随机性的已知分布误差。这使我们能够提取有关估计值(例如 p 值和置信区间)的信息,这些信息具有理论上的保证,可以限制某些类型的错误归因于随机样本变化的可能性。

从贝叶斯的角度来看,如果通常的线性模型假设成立,OLS 会在统一先验条件下提供最大后验(MAP) 参数估计。后验分布是一个多元高斯分布,在 MAP 估计处有一个峰值,我们可以使用后验来更新我们的先验参数,或者如果我们愿意,可以计算可信区间。

一般来说,常客/贝叶斯的区别充满了如此多的民间内涵和关联,以至于大多数统计方法最终对从业者来说都是一种或另一种。但归根结底,如果这种区分有任何客观意义,那就是关于你如何解释概率,而你选择的参数估计方法并不一定说明你如何解释概率。只有您对参数估计的解释才能确定您(当前)在哪个方面工作。

文字来自:

“普通的最小二乘解......并且 y 是列 n 向量”

表示线性回归的常客方法,通常称为“OLS”。在贝叶斯回归中,参数有先验。经常使用的关于 beta 的 Normal 先验也有一个常客解释:岭回归。