这些方法是贝叶斯方法、频率方法还是两者兼而有之?

机器算法验证 贝叶斯 常客 模型平均
2022-03-22 19:32:32

目前我正在比较不同的组合方法:

  1. 同等权重平均 -> 确定性
  2. 普通最小二乘平均 -> 常客?
  3. 贝叶斯信息标准平均 -> 贝叶斯和常客?
  4. 贝叶斯模型平均 -> 贝叶斯

对于中间的两个模型我不确定我的分类是否正确?

1个回答

您在这里犯了一个熟悉的类别错误。

您正在谈论的方法都对应于某种逻辑或代数结构或其他,即“只是数学”。同样,它们每个都有一个特定的实现,我们可以将其描述为“只是编程”。数学和编程都不能很好地描述为频率学派、贝叶斯学派或类似的东西。

换句话说,相同的数学结构可以是频率学派、贝叶斯学派、第三种方法,或者是混合使用,具体取决于其元素如何用于推理(这是您所做的事情,而不是模型拥有或所做的事情)。

两个例子

OLS 是一种算法(最小化平方误差的总和),当它被选择用于重复样本中的输出行为时,它可以被用作频率方法,或者在某些假设下获得后验分布的关键参数的贝叶斯工具关于参数的先验分布,或者当它作为奇异值分解或其他一些线性代数工具的有趣应用时,两者都不是。

Brown、Cai 和 Dasgupta,2001 年表明,二项式比例上的 Jeffrey 先验——至少在概念上是贝叶斯的——在重复样本中表现得非常好,并且可以用频率论的方式(第 4.3 节)证明,也就是说,以某种方式没有提到关于参数值的信念。

类比

想想甜点酒。甜点酒是一种通常与甜点一起饮用的酒,不是以特殊方式或由特殊葡萄制成的酒。的确,甜酒往往具有一些特征,例如它们更甜,但这些特征并不是使它们成为甜酒的原因;那是甜点。