为什么贝叶斯算法适用于小型数据集?

人工智能 机器学习 贝叶斯网络 朴素贝叶斯 贝叶斯统计
2021-10-23 22:21:22

我经常读到贝叶斯算法在小型数据集上运行良好这是为什么?我认为这是因为他们可能会更概括,但这是为什么呢?

另请参阅调查使用贝叶斯网络解决小型数据集问题

1个回答

主要原因应该是贝叶斯算法自然地包含了一种正则化形式(先验),因此它们应该不太容易过度拟合小数据集。当然,先验的选择会影响您的估计。

您可以将机器学习和深度学习中的某些训练机制视为贝叶斯统计的应用:例如,如果您训练一个具有权重衰减的神经网络,这相当于 MAP 估计

我想用较小的数据集执行贝叶斯推理在计算上也可能更容易(尽管我从未试图证明这是真的:我在这种情况下的实践经验仅限于贝叶斯神经网络)。当然,理论上,您拥有的数据越多,您的估计应该越接近实际真实值。

在这里你有一个类似的问题。