机器算法验证 - 岭回归的杠杆值是多少？ - 吾爱随笔录

岭回归的杠杆值是多少？

机器算法验证协方差矩阵岭回归聚集标准错误稳健标准错误杠杆作用

2022-04-06 19:37:46

在线性最小二乘法中，参数估计为： $\hat{\beta} = \left(X^{\top}X\right)^{-1}X^{\top}y$ . 在岭回归中，标准化参数估计由下式给出 $\hat{\beta}_{\Gamma} = \left(X^{\top}X + \Gamma\right)^{-1}X^{\top}y$ .

方差协方差估计器使用杠杆值来解释方差协方差估计中的偏差。对于线性最小二乘法，一些示例包括 HC2 和 HC3，它们具有以下有效残差： $\tilde{u} = \frac{\hat{u}}{1 - h_{ii}}$ 和 $\tilde{u} = \frac{\hat{u}}{\left(1 - h_{ii}\right)^{2}}$ . $h_{ii}$ 是模型矩阵的投影矩阵的对角线值 $h = X\left(X^{\top}X\right)^{-1}X^{\top}$ .

我的问题是：对于岭回归，杠杆调整残差是否会使用 $h = X\left(X^{\top}X\right)^{-1}X^{\top}$ 还是他们使用不同的 for 是因为

$\hat{y}_{OLS} = X\left(X^{\top}X\right)^{-1}X^{\top}y \ne \left(X^{\top}X + \Gamma\right)^{-1}X^{\top}y = \hat{y}_{\Gamma}$ ? 如果不同，形式是什么？它如何推广到集群？

1个回答

岭回归可以通过使用数据矩阵计算的普通最小二乘法 (OLS) 来计算 $X$ 扩展了一些替代数据，对应于替代观察 $Y_0=0$ . 将模型用代理数据扩展为

(\begin{matrix} Y \\ Y_{0} = 0 \end{matrix}) = (\begin{matrix} X β \\ X_{0} β \end{matrix}) + (\begin{matrix} ϵ \\ ϵ_{0} \end{matrix})

$\begin{pmatrix} Y \\ Y_0=0\end{pmatrix} = \begin{pmatrix} X\beta \\ X_0 \beta \end{pmatrix} + \begin{pmatrix} \epsilon \\ \epsilon_0 \end{pmatrix}$ 使用这个代理公式，我们可以将 USUAL OLS 估计量计算为

(X^{T} X + X_{0}^{T} X_{0})^{- 1} (X^{T} Y + X_{0}^{T} 0) = (X^{T} X + X_{0}^{T} X_{0})^{- 1} X^{T} Y

$( X^TX + X_0^T X_0)^{-1} (X^T Y + X_0^T 0) = (X^T X + X_0^T X_0)^{-1}X^TY$ 并将其与岭估计器的表达式进行比较，表明您需要解决

Γ = X_{0}^{T} X_{0}

$\Gamma = X_0^T X_0$ 为了

X_{0}

$X_0$ ，任何矩阵平方根都可以，例如 Cholesky 分解。

然后，您可以使用常用公式来利用扩展数据矩阵

(\begin{matrix} X \\ X_{0} \end{matrix})

$\begin{pmatrix} X \\ X_0 \end{pmatrix}$ 这是一个

(n + p) \times p

$(n+p)\times p$ -矩阵，所以

n

$n$ 第一个杠杆值对应于数据。作为奖励，您从

p

$p$ 最后一个杠杆值，利用代理数据的信息，因此您可以了解代理数据的影响程度。

您还询问集群健壮版本。我不知道这些，但猜想可以使用相同的方法。

其它你可能感兴趣的问题

上一篇什么时候可能性也是概率分布？下一篇确定时间序列是否为白噪声