贝叶斯方法在机器学习中的意义何在?

机器算法验证 机器学习 分布 贝叶斯
2022-03-29 03:55:24

在机器学习中,我听过很多关于“贝叶斯方法”或“贝叶斯模型”的引用。我发现了这个问题它似乎暗示贝叶斯模型,从广义上讲,试图从给定先验的数据集中估计后验概率分布。但这不就是机器学习的一般意义,试图估计给定数据的一些分布函数吗?也许我只是不了解贝叶斯模型的真正含义,但是,这是否意味着所有返回概率分布的模型(即您的普通逻辑回归模型)都属于“贝叶斯”类别?我不认为这是真的。

那么无论如何,贝叶斯模型与非贝叶斯模型相比是否具有某种固有的优势或劣势?我意识到这在很大程度上取决于问题的上下文,但我问的是模型的贝叶斯质量是否固有地赋予模型不同的属性,而不管模型的细节是贝叶斯之外的吗?

2个回答

那么无论如何,贝叶斯模型与非贝叶斯模型相比是否具有某种固有的优势或劣势?

简单的回答:没有。这只是一种不同的思维方式。贝叶斯建模只是为您提供估计参数的后验密度。通常,像广义线性模型这样的常客模型更容易计算,但不提供后验分布,因为常客不相信参数是随机的,而是你必须估计的固定事物。一般来说,如果样本量足够大(根据我的经验,大约有 300 多行数据),贝叶斯模型和频率论模型都会得出相同的参数估计值。

简单来说,常客将数据视为随机变量,而贝叶斯则将您正在估计的参数视为随机变量。

在尝试应用它们之前,您应该回顾一些关于贝叶斯统计分析的基本思想。我推荐的一个很好的参考是Bayesian Ideas and Data Analysis: An Introduction for Scientists and Statisticians这是一本相当容易阅读的书,数学在硕士研究生水平。

同意前面的回答。事实上,几乎所有贝叶斯模型背后的想法都是具有随机变量,可以根据先验分布和后验分布进行分布。这并不意味着贝叶斯方法比非贝叶斯方法效果更好或更差,但通常它需要更多数据(用于参数的先验分布),并且在许多情况下(不是全部)它需要我们正在使用的变量要独立。

此外,贝叶斯方法只能用于参数模型;它们比其他类型的 ML 技术更容易解释,但概率分布及其参数的选择在这里至关重要。我的观点是主观的,但实际上非贝叶斯方法在实际应用中使用得更频繁,我们不知道数据的来源,并且对适合我们拥有的数据的概率分布理解非常差.

总的来说,对于几乎所有的贝叶斯技术,都有一种替代方法。正如我的经验告诉我的那样,这更多的是选择和情况的问题,而不是结果的问题。