机器算法验证 - 线性回归的凸性 - 吾爱随笔录

机器算法验证回归

2022-04-09 10:45:17

我知道线性回归会导致凸优化问题。我想用一个简单的例子直观地展示这一点。假设有两个参数（x 和 y）和单个数据点 <1, 1> 以 2 作为 y 值（没有截距项。那么成本函数变为

(x + y - 2)^{2}

$(x+y-2)^2$

但是，如果您绘制此函数，您将获得包含多个最小点的图形。这个例子的问题在哪里？谢谢

2个回答

2 个参数和单个数据点不是严格凸的，因为观察和预测变量矩阵的秩不足。确实，正如您所观察到的，有许多“同样好”的解决方案，这是因为对于的任何选择，都有一个对应的达到最小值：有多少点满足？ $x$ $y$ $x+y=2$

添加比预测变量更多的观察值，并且问题（严格）是凸的。

(x + y - 2)^{2} = 0

$(x+y-2)^2=0$

x + y = 2

$x+y=2$

y = 2 - x

$y=2-x$

您可以选择任何，并获得相应的，即没有唯一的解决方案。有两个未知数和一个观察结果，不会有唯一的解决方案 $x$ $y$

其它你可能感兴趣的问题