机器算法验证 - 给定两个线性回归模型，哪个模型表现更好？ - 吾爱随笔录

给定两个线性回归模型，哪个模型表现更好？

机器算法验证回归机器学习自习造型模型

2022-03-08 21:52:06

我在大学学习了机器学习课程。在其中一个测验中，有人问了这个问题。

模型 1：模型 2：
$y = θ x + ϵ$ $y = \theta x + \epsilon$ $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$

以上哪个模型更适合数据？（假设数据可以使用线性回归建模）

正确的答案（根据教授的说法）是两种模型的表现都一样好。但是我相信第一个模型会更合适。

这就是我回答背后的原因。第二个模型，可以重写为，与第一个模型不同。实际上是一条抛物线，因此具有最小值（在这种情况下现在正因为如此，第一个模型中的的范围大于第二个模型中因此，如果数据使得最佳拟合的斜率小于，则与第一个模型相比，第二个模型的性能将非常差。但是，如果最佳拟合的斜率大于，则两个模型的表现都一样好。 $\alpha x + \epsilon$ $\alpha = \theta + \theta^2$ $\alpha$ $-0.25$ $\theta$ $\alpha$ $-0.25$ $-0.25$

那么第一个更好，还是两者完全相同？

2个回答

模型 2 可以写成：这似乎与模型 1 相似，只是超参数 ( ) 的符号不同。然而，对于模型 1，我们可以写成

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

但是由于在模型 2 中我们有的范围确实应该属于的。这将导致这两种模型的差异。

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$

\hat{β}

$\hat{\beta}$

[- 0.25, + \infty]

$[-0.25,+\infty]$

θ \in R

$\theta \in R$

因此，在模型 2 中，您限制了与模型 1 不同的系数估计。为了更清楚地说明这一点，应该注意，在模型 1 中，是通过最小化平方损失函数然而在模型 2 中，估计是通过获得的，这可能导致不同的结果。 $\hat{\theta}$

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$

不确定我是否理解你的推理。如果您采取：

y = α x + ϵ

$y = \alpha x+\epsilon$ 和

y = θ x + ϵ

$y = \theta x + \epsilon$

并使用简单的线性回归估计和 =。此外，由于方法完全相同，因此您在任一方程中得到的基本值当然会有所不同，因为，但这与拟合无关。 $\alpha$ $\theta$ $\alpha$ $\theta$ $R^2$ $\theta$ $\alpha = \theta + \theta^2$

其它你可能感兴趣的问题

上一篇何时使用 GLM 而不是 LM？下一篇何时使用贝叶斯网络而不是其他机器学习方法？