进行贝叶斯回归不是一种算法，而是一种不同的统计推断方法。主要优点是，通过这种贝叶斯处理，您可以恢复整个推理解决方案范围，而不是经典回归中的点估计和置信区间。（我只能建议您阅读统计手册以了解算法和统计推断之间的区别。）

区别

让我们做一个关于回归的小思想实验。让我们做这个简单的回归：

$y = \beta_0 + \beta_1 x$

我们可以应用求解最佳权重和线性代数状态，可以通过以下方式找到最佳权重：

$\beta^* = [\beta_0, \beta_1]^T = (X'X)^{-1} X'y$

现在想象一下，我们用一个小数据集和一个大数据集运行回归。我认为可以肯定地说，我们比我们的估计要确定得多$\beta^*$当我们有 1000 个数据点而不是只有 10 个数据点时是明智的。因为$\beta^*$是单个数据点而不是分布，我们无法用它来量化我们的确定性。

这就是贝叶斯主义者解释的地方和原因$\beta$不同。贝叶斯主义者看$\beta$并认为根据数据集，我们可以或多或少地确定它。如果这感觉很混乱，您可能会欣赏这篇博文，其中更详细地提到了不同之处。[免责声明，本博文由本人撰写]

好处

现在我们假设我们已经学会了我们的$\beta^*$这是一个分布，而不仅仅是一个数字。你会注意到我们的预测现在变得随机了。

$\beta_0 + \beta_1 x_i \to \hat{y_i}$

我们的预测$y_i$现在也是一个分布。这意味着我们对预测有置信度。如果您关心预测的不确定性，这是一件非常非常好的事情。

一般来说，贝叶斯估计的优点是您可以结合使用关于“信念”当前状态的先验或假设知识，以及证据如何更新这些信念。

非贝叶斯回归模型或简单的线性回归模型的参数的最大似然估计 (MLE) 会过度拟合数据，这意味着计算时某个自变量值的未知值变得过于精确。贝叶斯线性回归放宽了这一事实，称结合“预测分布”会带来不确定性。