机器学习中存在哪些优化方法?

机器算法验证 回归 机器学习 优化 梯度下降
2022-04-06 00:42:19

这篇博文:

对于任何关于机器学习的优化问题,可以有数值方法或分析方法。数值问题是确定性的,这意味着它们有一个不会改变的封闭形式的解决方案。因此它也被称为时不变问题。这些封闭形式的解决方案是可解析的。但这些都不是优化问题。

我对本文的解读是,作者认为机器学习下的优化问题有两种方法:

  • 数值方法,我们可以直接计算解决方案,因为它们具有封闭形式的解决方案(例如具有最小二乘的线性回归)
  • 优化(?)/分析方法,其中我们尝试近似一个好的解决方案(例如梯度下降)

然而,这似乎并不正确。我们解析求平方和表达式的微分以获得它的封闭形式,对吧?这篇文章中接受的答案的最后一句话似乎也暗示梯度下降是一种数值方法。

问:上面的分类正确吗?如果不是,那么机器学习问题的正确分类是什么?

先感谢您!

1个回答

Towards Data Science 不是一个可靠的网站,不幸的是,您引用的文字是胡说八道。

对于任何关于机器学习的优化问题,可以数值方法分析方法。数值问题是确定性的,这意味着它们有一个不会改变的封闭形式的解决方案。[...] 这些封闭形式的解决方案是可解析的。但这些都不是优化问题。

我希望他们的意思是“分析问题是确定性的 [...] ”等。

我不会在这里解释分析方法和数值方法之间的区别,因为有很多很好的来源,但是通过本段,我要说您阅读的帖子不是其中之一。


编辑:好的,我会解释一下

部分问题在于有很多部分重叠的术语。非常粗略地说,你有:

  • 可以直接计算参数的模型:AKA 闭式解、解析或解析解,有时是代数解。
  • 您必须使用迭代算法来拟合参数的模型。所有这些模型都是数字的,但是
    • 它们可能是确定性的(无随机性),例如具有固定起点的批量梯度下降,或者是随机的(随机),例如随机梯度下降。
    • 它们可能总是达到最佳值(凸优化),或者可能有陷入局部最优的风险(非凸优化)

还有很多其他方法可以将其分割,但是这些应该足够开始了!