从这篇博文:
对于任何关于机器学习的优化问题,可以有数值方法或分析方法。数值问题是确定性的,这意味着它们有一个不会改变的封闭形式的解决方案。因此它也被称为时不变问题。这些封闭形式的解决方案是可解析的。但这些都不是优化问题。
我对本文的解读是,作者认为机器学习下的优化问题有两种方法:
- 数值方法,我们可以直接计算解决方案,因为它们具有封闭形式的解决方案(例如具有最小二乘的线性回归)
- 优化(?)/分析方法,其中我们尝试近似一个好的解决方案(例如梯度下降)
然而,这似乎并不正确。我们解析求平方和表达式的微分以获得它的封闭形式,对吧?这篇文章中接受的答案的最后一句话似乎也暗示梯度下降是一种数值方法。
问:上面的分类正确吗?如果不是,那么机器学习问题的正确分类是什么?
先感谢您!