**问题**

当因变量（垂直误差）和自变量（水平误差）中都有噪声时，可以修改最小二乘目标函数以包含这些水平误差。如何对这两种类型的误差进行加权的问题。这种加权通常取决于两个误差的方差之比：

1. 如果垂直误差的方差相对于水平误差的方差极大，则OLS是正确的。
2. 如果水平误差的方差相对于垂直误差的方差非常大，则逆最小二乘法（其中上回归，的系数估计的倒数作为的估计）是合适的.$x$$y$$y$$\beta$
3. 如果垂直误差的方差与水平误差的方差之比等于因变量和自变量的方差之比，我们就有“对角线”回归的情况，其中一致的估计结果为是 OLS 和逆最小二乘估计量的几何平均值。
4. 如果这些误差方差的比率是 1，那么我们就有“正交”回归的情况，其中沿着垂直于估计线的线测量的误差平方和被最小化。这就是你的想法。

在实践中，这个过程的一个很大的缺点是误差方差的比率通常是未知的，并且通常无法估计，因此前进的路径并不明确。

一个原因是相对容易计算和优化，而建议的成本有一个嵌套最小化问题，根据。

$$\sum_{i=1}^N(y_i-h_\theta(x_i))^2$$ $$\sum_{i=1}^N \min_{x,y}\big[(y_i-h_\theta(x))^2+(x_i-x)^2\big]$$ $h_\theta(x)$

冒着平淡无奇的风险，错误函数的原因是标准解释是给定 x 并且试图最好地描述（或预测）y 分量。所以'x'没有错误。例如，您可能会尝试根据今天的收盘价来了解（或预测）明天股票的收盘价。同样，人们可以尝试根据今天的平均温度来了解明天的平均温度。显然，这些例子很简单，但这就是想法。顺便说一句，大多数人都没有意识到，但我认为从您的示例中可以清楚地看出，如果一个人将 y 与 x 进行回归，则回归线不必与 x 对 y 的回归有任何特别的相似之处。正交回归是回归的术语，其中人们试图找到使点与线的距离最小的线。例如，如果想了解 IBM 股票价格与 AAPL 股票价格之间的关系，那将是合适的方法。

过度简化的版本是假设 X 没有错误。因此，例如，如果您查看绘图中的点 E，则假定其 X 坐标非常准确。通常情况下，我们可以控制 X，换句话说，当我们可以将其设置为特定值时。在这种情况下，唯一可能存在的误差是 Y 方向，这就是误差/成本函数只包括 Y 方向的原因。

只要不是这种情况，只要我们不控制 X 并且 X 可能有误差，人们就会将 X 方向纳入误差函数中，称为 II 型或模型 II 回归及其变体。如果 X 和 Y 具有不同的尺度，那么执行此操作可能会很棘手，因此您必须考虑标准化等。