机器算法验证 - 稳健线性模型的几何 - 吾爱随笔录

机器算法验证回归强大的几何学

2022-03-29 09:06:47

$L_2$ 最小化有一个非常好的几何解释，作为投影到适当大小的子空间。对于稳健回归的任何方法，是否有类似的“真实解释”？

编辑：例如 Huber 的 M 回归估计和 Yohai 的 MM 回归估计。

1个回答

是的！稳健回归具有清晰的几何解释。

可以通过查看它所属的等方差组来考虑估计量的几何结构。快速示例；

示例尺度估计器（通常的方差和中值绝对偏差是该组的两个推车轴承成员）等变于常量数据： $S(x)$ $\sigma^2(x)$ $\mbox{mad}(x)$

S (α x) = | α | S (x), α \in R

$S(\alpha x)=|\alpha|S(x),\quad\alpha\in\mathbb{R}$

换句话说，等方差组定义了数据的转换，从某种意义上说，您在使用估计器时不需要关心，因为当这样的转换应用于数据时，估计器会随着数据而变化'以自然的方式”。

这些等方差组也与估计量的重要属性有关，例如一致性。

同样，回归估计的特征在于至少有两组等方差： $T(\pmb x,y)\in\mathbb{R}^p$

$T(\pmb x,y)$ 是回归等变的： $T (x x, y + β β^{'} x) = T (x x, y) + β β, β β \in R^{p}$ $T(\pmb x,y+\pmb\beta'x)=T(\pmb x,y)+\pmb\beta,\quad\pmb\beta\in\mathbb{R}^p$
$T(\pmb x,y)$ 是仿射等变的：对于任何非奇异矩阵。这意味着是可接受的残差：回归估计仅取决于通过残差向量的数据。 $T (x x A A, y) = A A^{- 1} T (x x, y)$ $T(\pmb x\pmb A,y)=\pmb A^{-1}T(\pmb x,y)$ $\pmb A\in\mathbb{R}^{p\times p}$ $T(\pmb x,y)$

由估计的回归估计量rlm，与通常的 OLS 估计量一样，都满足仿射和回归等方差。

请注意，存在一些属于 OLS 不属于的等方差组的稳健回归估计量（例如，在这个意义上，它们的几何结构比 OLS 更强）。考虑单调变换的不变性，它适用于基于分位数的估计量，例如（以及在分位数回归响应的单调变换的情况下），但不适用于方差（或通常的 OLS 估计量））。 $\mbox{mad}(x)$

其它你可能感兴趣的问题