“共轭先验”这个名称的由来是什么?

机器算法验证 分布 贝叶斯 数理统计 术语 共轭先验
2022-02-02 03:48:05

我知道什么是共轭先验但我对这个名字本身感到困惑。为什么叫“共轭”?复共轭z有互惠关系z, IE,z=z. 但是三元组的任何两个元素(先验、可能性、后验)之间都没有这种互惠关系,或者至少我不知道。那么为什么要“共轭”呢?术语是否超载?

2个回答

牛津英语词典将“共轭”定义为一个形容词,意思是“连接在一起,尤其是成对的,耦合的;连接的,相关的”。想象一个共轭先验与它的后验有特殊而强烈的联系并不是一件容易的事。

它在化学(共轭酸/碱;共轭溶液)、植物学(成对生长的叶子,尤其是只有一对时)、光学(共轭焦点)和语言学(共轭是同一根的形式单词)。

虽然有些具有“相互”的含义,但有些则没有,所以我认为这不是含义的必要元素。


维基百科归功于 Raiffa 和 Schlaifer 创造了这个术语(令人讨厌的是,它不在 OED 中)。这是他们 1961 年的书中第一次提到它,这似乎是使用共轭的“连接”意义。

Raiffa 和 Schlaifer 的序言截图

我们表明,只要(1)任何可能的实验结果都可以用固定维度的充分统计量来描述(即, s-元组(y1,y2,ys)在哪里s不取决于实验的“规模”),2)每个结果的可能性由一个相当简单的公式给出y1,y2,ys作为它的论点,我们可以简单地通过在样本似然的代数表达式中交换变量和参数的角色来获得一个非常易于处理的“共轭”先验分布族,并且后验分布将与先验分布属于同一族. "

我相信起源在某种程度上与以下概念有关:

  • 特征向量:向量x称为矩阵的特征向量A如果Ax=kx, 意义Ax具有相同的形式x(只是不同的比例因子k称为特征A),希望您开始看到这是与先验共轭相同的逻辑。

  • 特征函数:参见共轭先验和特征函数之间的类比。特征向量的概念扩展到泛函分析中的函数。给定一个线性变换L(例如微分或积分算子),其特征函数是函数f这样Lf简直就是kf, IE。f按标量缩放。特征函数在求解微分方程时非常有用,因为它们为我们提供了非常方便的解的表示。这些也与傅里叶变换有关,其中傅里叶变换的特征函数是正弦和余弦函数。事实上,可以证明任何周期函数都可以近似为正弦函数和余弦函数的线性组合。此外,高斯函数的傅里叶变换是另一个高斯函数,与共轭先验的逻辑相同。