目标：找到对数据进行最佳建模的回归线（多变量情况下的超平面？）的系数。让我们称之为 w
有什么区别：
1) 使用 MAP 进行估计：其中是输入训练数据，是训练输出
和
2）使用神经网络进行回归（不知道这是怎么实现的）
（以及用于线性回归的任何其他方法）
各种线性回归实现之间的区别
数据挖掘
线性回归
2022-02-14 00:25:55
2个回答
首先，您需要一个线性模型，成本函数为RMSE。使用此模型和成本函数，生成 w。
另一方面，对于第二个方程，您使用非线性 NN 方程作为估计，成本函数可以是 RMSE、log 或 ... 。（没有激活函数的 NN 是线性的）没有激活函数的 NN 是线性模型带有偏见。如果您使用RMSE，它就像第一个示例一样。
任何具有相同成本函数的线性回归都会生成相同的收敛后系数值（在某些情况下，方程有很多解，在这种情况下，成本函数可能会收敛到一个新值）
注意：方程的许多解意味着，例如，如果一个点是方程的解，那么任何穿过该点的超平面都是解。
我认为我们应该澄清线性回归是一种模型，其中特征的线性组合产生一个输出。如果我们使用频繁方法、Bayes Ian 框架或机器学习/AI 视角，这将是正确的。对于其余的神经网络，只需（或不简单）将线性回归与恒等激活函数拟合。
https://www.r-bloggers.com/using-neural-network-for-regression/amp/