假设您有一个数据集，其中 m = 50 个示例，每个示例有 n = 15 个特征。您想使用多元线性回归将参数 theta 拟合到我们的数据中。你应该更喜欢梯度下降还是正规方程，为什么？
梯度下降还是正态方程？
数据挖掘
机器学习
数据集
线性回归
梯度下降
正规方程
2022-02-28 08:45:19
2个回答
您需要考虑样本量。
您没有足够的示例来使用Gradient Descent。我相信你至少需要几百个。相反，使用Normal Equation
在像这样的小矩阵上进行逆和转置应该非常快。
如果可以，最好使用正态方程来估计多元线性回归的系数。由于正规方程是一个封闭形式的表达式，它会比梯度下降更快。
鉴于您的示例和特征相对较少，反转矩阵不是问题。