稳健线性回归的最小绝对偏差的最大似然/GLM 版本是多少?

机器算法验证 回归 广义线性模型 最大似然 强大的 最小绝对偏差
2022-03-16 04:22:26

来自最小化绝对偏差的稳健线性回归产生以协变量为条件的中位数回归线,而不是使用标准最小二乘法的方法:最小化平方误差是否等同于最小化绝对误差?为什么平方误差比后者更受欢迎?

从某种意义上说,它是有用且稳健的,因为它可以最大限度地减少拟合线上响应变量中异常值的影响。它在广义线性模型/最大似然设置中的类似物是什么?

1个回答

没有对应于 L1(最小绝对值)回归的 GLM(无自然指数族模型)。*

请注意,如果您正在做 MLE,那么表格的密度cϕexp(g(yxβϕ))具有对数似然nlog(ϕ)ig(yixiβϕ).

现在最大化关于参数的可能性β将对应于最小化ig(yixiβϕ).

所以如果你试图最小化1ϕi|yixiβ|=i|yixiβϕ|...的形式g因此,这将是 ML 的错误密度应该立即显而易见——它是Laplace

从某种意义上说,它是有用且稳健的,因为它将响应变量中的异常值对拟合线的影响降至最低

它对有影响 的观察根本没有提供任何保护,因此它对有影响的异常值一点也不鲁棒,如此处所示


我也不认为说它可以最大限度地减少影响是正确的。(忽略上述关于有影响力的观察的观点——例如,如果我们只看位置而不是回归)它很好地限制了效果,但如果你了解影响函数和 M 估计器,你会发现有影响的估计器重新下降的函数(L1 估计器不会),因此存在异常值对位置的估计器的影响甚至比它们对中位数的影响更小。


*抛开规模为简单起见,你不能写i|yixiβ|在表格中iη(β)T(yi)+A(β)B(yi)- 绝对值函数不会那样分解。

实际上,如果我们只有规模来估计,那是指数族。