机器算法验证 - 强制多元线性回归的输入正交性 - 吾爱随笔录 - 问答

强制多元线性回归的输入正交性

机器算法验证回归自习多重回归线性模型

2022-03-14 13:41:38

我正在研究著名的《统计学习要素》一书。当描述多元线性回归时，它使用简单的单变量回归作为构建块，这对我来说很有意义。据我了解，它使用输入向量的正交性属性来将多元回归拆分为简单的独立回归，并且当输入不正交时，这些输入会以剩余正交的方式进行转换。通过正交向量，我了解 2 个点积等于零的向量。

现在在书中指出

正交输入最常出现在平衡的设计实验中（强制正交性），但几乎从不出现观察数据。

怎么能强制执行呢？我能想象的唯一情况是，每个可能的标称值都使用二进制 0/1 值。更清楚地说：可以有一个带有标签的名义列性别：男和女。他可以创建两个输入列，一个称为sex.male ，当性别为男性时其值为1，否则为0。如果性别为女性，则相应的列sex.female将具有1 ，否则为0。这 2 个数字列将是正交的。是否可以强制执行连续变量？

1个回答

在实验设计文献中有大量用于连续预测变量的正交设计示例。一个简单的方法是设计矩阵（使用居中预测器）

X = (I, x_{1}, x_{2}) = (\begin{matrix} 1 & - 1 & - 1 \\ 1 & - 1 & 0 \\ 1 & - 1 & 1 \\ 1 & 0 & - 1 \\ 1 & 0 & 0 \\ 1 & 0 & 1 \\ 1 & 1 & - 1 \\ 1 & 1 & 0 \\ 1 & 1 & 1 \end{matrix})

$\boldsymbol{X}=(\boldsymbol{I},\boldsymbol{x}_1,\boldsymbol{x}_2)=\left(\begin{matrix} 1 & -1 & -1\\ 1 & -1 & 0\\ 1 & -1 & 1\\ 1 & 0 & -1\\ 1 & 0 & 0\\ 1 & 0 & 1\\ 1 & 1 & -1\\ 1 & 1 & 0\\ 1 & 1 & 1\\ \end{matrix}\right)$

对于线性回归

y_{i} = β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + ε_{i}

$y_i=\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} +\varepsilon_i$

参数估计的对角方差-协方差矩阵

Var \hat{β} = (X^{T} X)^{- 1} σ^{2} = (\begin{matrix} \frac{1}{9} & 0 & 0 \\ 0 & \frac{1}{6} & 0 \\ 0 & 0 & \frac{1}{6} \end{matrix}) σ^{2}

$\operatorname{Var} \boldsymbol{\hat\beta}= (\boldsymbol{X}^\mathrm{T}\boldsymbol{X})^{-1}\sigma^2=\left(\begin{matrix} \tfrac{1}{9} & 0 & 0\\ 0 & \tfrac{1}{6} & 0\\ 0 & 0 & \tfrac{1}{6}\\ \end{matrix}\right)\sigma^2$

其中是误差方差，表明您对和 $\sigma^2$ $\beta_1$ $\beta_2$

其它你可能感兴趣的问题

上一篇两个比例相等的同时 Z 检验（二项分布）下一篇AIC / BIC 的 AR 模型参数的正确数量？