归纳偏差是先验的吗?

机器算法验证 偏见 事先的
2022-04-09 11:55:31

维基百科是这样定义的:

学习算法的归纳偏差(也称为学习偏差)是一组假设,学习者使用它来预测给定未遇到的输入的输出。

这可以看作是贝叶斯框架中的先验,如果不是,为什么?

3个回答

先验是数据的属性,而不是数据上使用的算法。

“最大条件独立性:如果可以在贝叶斯框架中提出假设,请尝试最大化条件独立性。这是朴素贝叶斯分类器中使用的[归纳]偏差。” - 维基百科

归纳偏差可以被认为是关于在学习算法中编码的数据的假设。

不,这是从定义中显而易见的可能性。通过假设数据遵循线性模型,您可以在线性回归中引入归纳偏差。即使在贝叶斯方法中,您也会通过假设数据遵循某个家族的模型来引入一些归纳偏差。

先验是一种先验知识,可以帮助我们从可用数据中学习新概念。

先验或归纳先验也称为归纳偏置

在这里,归纳一词并不具有归纳的严格数学含义,而是我们将根据先前的知识进行一些推断的事实。

从这个意义上说,归纳偏差是先验(先验分布),它是关于数据的知识(没有观察任何数据)。

后验分布是在观察到新证据(数据)之后的知识,同时考虑了先验知识。

从这个意义上说,您可能会猜测分布关于数据的知识