机器算法验证 - 比较 OLS 和非 OLS 回归之间的残差 - 吾爱随笔录

假设您要估计一个线性模型：（响应观察值和预测变量） $n$ $p+1$

E (y_{i}) = β_{0} + \sum_{j = 1}^{p} β_{j} x_{i j}

$\mathbb{E}(y_i) = \beta_0 + \sum_{j=1}^p \beta_j x_{ij}$

一种方法是通过 OLS 解决方案，即选择系数以使平方误差之和最小：

(β_{0}, β_{1}, \dots, β_{p})^{T} = \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sum_{i = 1}^{n} {(y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j})}^{2}

$(\beta_0,\beta_1,\cdots,\beta_p)^T = \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right)^2$

或者，您可以使用另一个损失函数，例如绝对偏差之和，以便：

(β_{0}, β_{1}, \dots, β_{p})^{T} = \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sum_{i = 1}^{n} | y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j} |

$(\beta_0,\beta_1,\cdots,\beta_p)^T = \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sum_{i=1}^{n} \left| y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right|$

假设你已经找到了两个模型的参数，并且想要选择损失函数值最小的模型。您如何比较一般损失函数获得的最小值？（即不只是这种特殊情况——我们还可以尝试其他基于 $L_p$ 的损失函数）函数的规模似乎有所不同——一个处理正方形，而另一个不处理。