机器算法验证 - 线性回归中的假设需要什么？ - 吾爱随笔录

机器算法验证回归假设

2022-02-14 19:05:57

在线性回归中，我们做出以下假设

响应的平均值，

E (Y_{i})

$E(Y_i)$ ，在预测变量的每组值处，

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , 是预测变量的线性函数。

错误，

ε_{i}

$ε_i$ , 是独立的。

错误，

ε_{i}

$ε_i$ ，在预测变量的每组值处，

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , 是正态分布的。

错误，

ε_{i}

$ε_i$ ，在预测变量的每组值处，

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ ，有相等的方差（表示

σ 2

$σ2$ ）。

我们可以解决线性回归的方法之一是通过正规方程，我们可以写成

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

从数学的角度来看，上式只需要 $X^TX$ 是可逆的。那么，为什么我们需要这些假设呢？我问了几个同事，他们提到这是为了获得好的结果，而正规方程是实现这一目标的算法。但在那种情况下，这些假设有什么帮助呢？坚持它们如何有助于获得更好的模型？

4个回答

你是对的 - 你不需要满足这些假设来拟合点的最小二乘线。您需要这些假设来解释结果。例如，假设输入之间没有关系 $X_1$ 和 $Y$ , 得到一个系数的概率是多少 $\beta_1$ 至少和我们从回归中看到的一样好？

您不需要这些假设来拟合线性模型。但是，您的参数估计可能有偏差或没有最小方差。违反假设将使您在解释回归结果时更加困难，例如，构建置信区间。

好的，到目前为止的答案是这样的：如果我们违反假设，那么可能会发生坏事。我认为有趣的方向是：当我们需要的所有假设（实际上与上面的假设有点不同）都得到满足时，我们为什么以及如何确定线性回归是最好的模型？

我认为这个问题的答案是这样的：如果我们按照这个问题的答案做出假设，那么我们可以计算条件密度 $p(y_i|x_i)$ . 由此我们可以计算 $E[Y_i|X_i=x_i]$ （条件期望的因式分解 $x_i$ ) 并看到它确实是线性回归函数。然后我们使用它来查看这是关于真实风险的最佳函数。

其它你可能感兴趣的问题