机器算法验证 - Gibbs Sampler 转换内核 - 吾爱随笔录

Gibbs Sampler 转换内核

机器算法验证贝叶斯条件概率马尔科夫过程吉布斯不可缺少的

2022-03-20 02:42:07

让 $\pi$ 成为目标分布 $(\mathbb{R}^d,\mathcal{B}(\mathbb{R^d}))$ 这绝对是连续的 $d$ 维勒贝格测度，即：

$\pi$ 承认密度 $\pi(x_1,...,x_d)$ 写给 $\lambda^d$ 和

λ^{d} (d x_{1}, . . ., d x_{d}) = λ (d x_{1}) \cdot \cdot \cdot λ (d x_{d})

$\lambda^d(dx_1,...,dx_d) = \lambda(dx_1) \cdot \cdot \cdot \lambda (dx_d)$

让我们假设完整的条件 $\pi_i(x_i|x_{-i})$ 从 $\pi$ 是已知的。所以 Gibbs-Sampler 的转换核显然是完整条件的乘积 $\pi$ .

转换内核是否绝对连续地写入 $d$ 维勒贝格测量也是？

1个回答

如果你写下系统吉布斯采样器内核的转换，你会得到

P (X^{'} \in A_{1} \times \dots \times A_{d} | X = x) = \int_{A_{1}} π_{1} (x_{1}^{'} | x_{- 1}) {\int_{A_{2}} π_{2} (x_{2}^{'} | x_{1}^{'}, x_{- 1 : 2}) \dots {\int_{A_{d}} π_{d} (x_{1}^{'} | x_{- d}^{'}) λ (d x_{d}^{'})} \dots λ (d x_{2}^{'})} λ (d x_{1}^{'})

$\mathbb{P}(X'\in A_1\times\cdots\times A_d|X=x)=\int_{A_1} \pi_1(x'_1|x_{-1})\Big\{\int_{A_2} \pi_2(x'_2|x'_1,x_{-1:2})\cdots \left\{\int_{A_d} \pi_d(x'_1|x_{-d}')\lambda(\text{d}x_d')\right\} \cdots\lambda(\text{d}x_2')\Big\}\lambda(\text{d}x_1')$ 适用于任何产品集

A_{1} \times \dots \times A_{d} \in B (R^{d})

$A_1\times\cdots\times A_d\in\mathcal{B}(\mathbb{R^d})$ 因此

K (x, x^{'}) = π_{1} (x_{1}^{'} | x_{- 1}) \times π_{2} (x_{2}^{'} | x_{1}^{'}, x_{- 1 : 2}) \times \dots \times π_{d} (x_{d}^{'} | x_{- d}^{'})

$K(x,x')=\pi_1(x'_1|x_{-1})\times\pi_2(x'_2|x'_1,x_{-1:2})\times\cdots\times\pi_d(x'_d|x_{-d}')$ 是相对于 Lebesgue 测度绝对连续的概率测度的密度

(R^{d}, B (R^{d}))

$(\mathbb{R}^d,\mathcal{B}(\mathbb{R^d}))$ .

其它你可能感兴趣的问题

上一篇多个 ARIMA 模型很好地拟合数据。如何确定顺序？正确的做法？下一篇先验线性回归模型的系数