我知道线性回归的封闭形式的计算成本是，但我找不到与梯度下降类似的成本比较。
这里有一些类似的问题，人们“谈论”梯度下降如何更有效，并提出一些不是形式的公式，并且不包括他们从哪里获得信息。
所以重申一下，我正在寻找形式的梯度下降的计算复杂度，其中。
我可能正在考虑这个错误并且没有大的比较。如果是这样，请告诉我。谢谢你。
梯度下降与线性回归的计算成本是多少？
机器算法验证
多重回归
优化
梯度下降
时间复杂度
2022-03-31 15:41:40
3个回答
梯度下降的计算成本取决于收敛所需的迭代次数。但是根据斯坦福大学的机器学习课程，梯度下降的复杂度是，所以当很大的时候推荐使用梯度下降而不是线性回归的封闭形式。
来源：https ://www.coursera.org/learn/machine-learning/supplement/bjjZW/normal-equation
梯度方法为达到规定容差的局部最优值所需要的迭代次数取决于问题：取决于您正在探索的表面形状和初始猜测。因此，不能给出复杂性的一般 O() 表达式。
梯度下降的时间复杂度为 O(ndk)，其中 d 是特征数，n 是行数。因此，当 d 和 n 很大时，最好使用梯度下降。