机器算法验证 - Jeffreys 先验的参数化不变性/协方差 - 吾爱随笔录

我一直试图理解 Jeffreys 之前的参数化不变性究竟是什么意思。

我已经在这里读到，从技术上讲，不变性并不是最好的术语，它更像是协变的一种情况。我对协方差的理解是它描述了以特定已知方式进行转换的属性，这与我经常看到在重新参数化 Jeffreys 之前的上下文中调用的“变量变化定理”一致。

p (θ) = p (ψ) | \frac{d ψ}{d θ} |

$p(\theta) = p(\psi) \left| \frac{d\psi}{d\theta} \right|$

我认为这来自设置的概率区域 $p(\theta) d\theta$ 等于 $p(\psi) d\psi$ （然后基本上除以无穷小 $d\theta$ )，尽管在没有积分的情况下我对这种表达方式有些警惕。

那么我的问题是这如何提供参数化不变性/协方差。例如，杰弗里斯先验 $p(\sigma) = \frac{1}{\sigma}$ 已知在正实数上在幂变换下是不变/协变的。选择 $\gamma = \sigma^n$ 然而，应用变量定理的这种变化，我得到

p (σ) = p (γ) | \frac{d γ}{d σ} | = \frac{1}{σ^{n}} n σ^{n - 1} = \frac{n}{σ} \neq p (σ)

$p(\sigma) = p(\gamma) \left| \frac{d\gamma}{d\sigma} \right| = \frac{1}{\sigma^n} n \sigma^{n-1} = \frac{n}{\sigma} \neq p(\sigma)$

所以我一定做错了什么，除非这只是正常化的问题。