我想知道何时使用带有随机或批量梯度下降的线性回归来最小化成本函数与何时使用正规方程？使用梯度下降的算法是迭代的，因此它们可能需要更多的时间来运行，这与正规方程解相反，后者是一个封闭形式的方程。但它确实使用矩阵来存储训练数据。这是否意味着梯度解决方案需要更多的处理能力，但使用正规方程方法需要更多的内存，因为矩阵？哪种方法在什么场景下是最优的？
线性回归 - 梯度下降的 LMS 与正态方程
数据挖掘
机器学习
线性回归
2021-09-24 08:51:08
1个回答
Andrew Ng 在他关于正规方程的 Coursera 讲座中简洁地回答了这个问题。我会总结一下。
你有 m 个训练示例和 n 个特征。
梯度下降的缺点：
- 您需要选择学习率，因此您可能需要至少运行该算法几次才能弄清楚这一点。
- 它需要更多的迭代，因此，这可能会使其变慢
与正规方程相比：
- 你不需要选择任何学习率
- 你不需要迭代
正规方程的缺点：
- 当您拥有大量特征（n 个特征）时，正态方程的计算成本很高，因为您最终需要采用 anxn 矩阵的逆矩阵来求解参数数据。
与梯度下降相比：
- 当您拥有大量（数百万）功能时，它将相当有效并且会做一些可以接受的事情。
因此，如果 n 很大，则使用梯度下降。
如果 n 比较小（百~万量级），则正规方程
其它你可能感兴趣的问题