“逆概率”是指贝叶斯推理的一种相当老式的方式。现在使用它时，通常是对历史的致敬。De Morgan (1838)，概率论，Ch。3“关于逆概率”，很好地解释了它：

在前一章中，我们已经计算了事件发生的几率，知道它发生或失败的情况。我们现在将自己置于一个颠倒的位置：我们知道事件，并询问事件产生的概率是多少，有利于任何可能发生相同情况的情况。

下面是一个使用贝叶斯定理的例子。

我不确定该术语在某些时候可能不包含推定或提议的非贝叶斯、无先验的方法 $f(y|\theta)$到$p(\theta|y)$（在@Christopher Hanck 的符号中）；但无论如何，费舍尔在 1930 年代已经清楚地区分了“逆概率”和他的方法——最大似然、基准推理。令我震惊的是，几位 20 世纪早期的作家似乎将使用我们现在所谓的无信息/无知/参考先验作为“逆概率”方法^†甚至“贝叶斯定理”的一部分^‡ .

† 费舍尔 (1930)，数学。过程。凸轮。菲洛斯。社会党。, 26 , p 528, “逆概率”, 也许是第一次清楚地区分贝叶斯推理与平坦的“无知”先验（“正确的逆参数”），当先验描述偶然时贝叶斯定理的无例外应用概率（“严格来说不是逆概率”），以及他的基准论点。

‡ 例如，Pearson (1907)，Phil。麦格。, p365，“关于过去经验对未来预期的影响”，将贝叶斯定理与“无知的平均分布”混为一谈。

给定“模型”的“观察”概率

通常，“概率”表示为给定特定实验/模型/设置的结果概率。

所以概率是关于给定模型的观察频率。这些类型的问题通常并不难。例如，在赌博中，我们可以表达某些掷骰子或纸牌序列的概率（这里有很多关于 CV 的问题，询问在某些情况下的概率，这将得到明确而明确的答案）。

逆：在给定“观察”的情况下推断“模型”

然而，在实践中，我们并不完全了解模型，我们希望根据观察推断出模型的一些未知属性。也就是说，与概率通常相反的方向。现在模型是未知的，但是观察是给定的/已知的。情况正好相反。

这是一个难题。我们可以表达给定模型的观测概率，也可以表达不同模型的这些概率的差异，但这些表达方式与给定模型的概率不同。

Ronald A Fisher 的最大似然 = 逆概率？

Ronald A. Fisher在他 1921 年的著作“理论统计的数学基础”中提到了与“逆概率”相关的最大似然方法。但他认为我们不应该将这种“逆概率”视为“概率”，而是建议使用“可能性”一词。

我确实必须在我最初对最大似然法 (9) 的陈述中承认我的论点是基于逆概率原理的；在同一篇论文中，确实，我强调了这样一个逆概率只是相对的事实。也就是说，虽然我们可以说 的一个值的逆概率是 的另一个值的三倍$p$，我们可以不引入微分元素$dp$，因此可以说它的可能性是它的三倍$p$应该位于两个相等元素中的一个而不是另一个。因此，经过考虑，我认为在这种联系中错误地使用了概率这个词：概率是频率的比率，而关于这些值的频率，我们一无所知。我们必须回到一个实际的事实，即$p$，我们一无所知的频率，将产生观察结果的频率是另一个值的三倍$p$. 如果我们需要一个词来表征不同值的这种相对属性$p$, 我建议我们可以不混淆一个值的可能性$p$是另一个可能性的三倍，始终牢记可能性在这里并不是泛泛地用作概率的同义词，而只是表示假设量的这些值的相对频率$p$实际上会产生观察到的样本。

逆概率=贝叶斯概率？

有人可能会说逆概率等于后验贝叶斯概率。作为同义词，它是相当标准的。但我喜欢认为它包含的远不止这些。所有的推理方法都在某种程度上是“逆概率”，并试图在与典型概率陈述（给定模型的结果的概率）相反的方向上进行推理。

确实是的：只有贝叶斯概率才是真正/技术上的概率。确实不：基准分布不等于概率（*）。但是，基准推理和频率推理仍然是关于反转方向并根据观察对参数做出陈述。（频率分布/区间在技术上并不是概率。）

(*)贝叶斯后验分布是参数的概率密度，以观察为条件。基准分布是置信度的密度，与作为随机变量的参数无关，而是将我们对随机变量的推断视为随机因素

例子：

在 StackExchange 上，我们看到两种类型的问题：

• 我有一个公平的六面骰子；我连续掷出 6 六次的概率是多少？
• 我用六面骰子连续掷出 6 六次；我有一个公平的死吗？

第一类问题可以用一种直接的方法来回答，它是关于在特定情况下表达结果的概率。

第二种类型颠倒了这个问题。虽然可能性可能是已知的，但它没有相同的直接答案（谈论骰子公平概率是错误的想法）。我们可以使用贝叶斯后验概率，但问题仍然比仅仅应用贝叶斯方法更普遍。

包起来

逆概率可能与贝叶斯（后验）概率有关，有些人可能会从更广泛的意义上看待它（包括基准“概率”或置信区间）。但在这些情况下，它都不是指真正的概率。

是的，我相信您的想法是一种看待事物的方式，因为它指出先验是转换条件概率的关键因素。

我的阅读是它是对贝叶斯定理的解释，正如我们所知，它说

在统计应用的背景下，

已经有很多很好的答案，所以我将添加一个我觉得很有趣的稍微切题的例子。希望它离主题不会太远。

马尔可夫链蒙特卡罗方法通常用于贝叶斯后验推理。在概率论中马尔可夫链的典型遭遇中，我们提出了诸如链是否在无限步的限制内收敛到某个平稳分布等问题。例如，在贝叶斯统计中，提出了相反的问题：如果我们想要一个链来收敛感兴趣的后验分布，我们如何设计这样的链？（标准的 Metropolis-Hastings (MH) 算法就是这样一种算法。）

这个例子并没有直接回答这个问题，而是作为一个有趣的例子，将解决方案应用于逆概率问题。

我从https://www.jstor.org/stable/2684568中发现了这种见解，它从逆向角度激发了 MH 算法。