机器学习是否提供了线性回归(即 OLS)的替代方法来预测连续变量?

机器算法验证 回归 机器学习
2022-04-08 19:35:48

我知道定义精确地属于“机器学习”范围的范围是不可能的。

然而,当目标是预测连续变量时,机器学习文献中是否有一些见解远离使用 OLS 的线性回归?

在预测分类或二元结果时,机器学习似乎提供了比连续变量更多的选择(相对于计量经济学文献中通常描述的模型)。

3个回答

这不是真的。回归算法的数量与机器学习中的分类算法相似。大多数分类算法都有对应的回归:有 -NN 和 -NN 回归,SVM 和 SVR 用于回归,分类的随机森林构建或回归树,XGBoost 可用于这两个任务,有无限数量的回归神经网络等kk

当目标是预测连续变量时,机器学习文献中是否有一些见解远离使用 OLS 的线性回归?

除了标准 OLS 之外,还有许多方法可以对连续数据进行建模。除了 OLS 之外,甚至还有线性回归方法(其中之一是 TLS/Deming 回归)。其他经典方法包括 GLMs、GAMs、分位数回归。正则化回归也修改了 OLS 惩罚,因此不是“只是”OLS。

我不知道为什么您认为没有机器学习的帮助,统计数据还没有超越 OLS。也许阅读统计学习的介绍会很有用。

IMO,深度学习属于机器学习范畴,因为它是深度机器学习,而不是“浅层”机器学习方法(例如,OLS、KNN、SVM、随机森林)。

深度学习和人工神经网络可用于回归问题,为您添加另一个 OLS 替代路径。请记住,您拥有的特征/变量越多,训练所需的数据点就越多,运行训练所需的计算资源也就越多。这里有一些很好的起点:

1) https://machinelearningmastery.com/regression-tutorial-keras-deep-learning-library-python/

2) https://www.tensorflow.org/tutorials/keras/regression