人工智能 - 前任的作用是什么p ( z )p(z)在 VAE 中？ - 吾爱随笔录

我知道编码器是变分后验的 $q_{\phi}(\mathbf{z} \mid \mathbf{x})$ .

我也知道解码器代表可能性： $p_{\theta}(\mathbf{x} \mid \mathbf{z})$ .

我的问题是关于先前的 $\mathrm{p}(\mathbf{z})$ .

我知道 ELBO 可以写成：

E_{q_{ϕ} (z ∣ x)} [\log (p_{θ} (x ∣ z))] - D_{K L} (q_{ϕ} (z ∣ x) ‖ p (z)) \leq \log (p_{θ} (x))

$E_{q_{\phi}(\mathbf{z} \mid \mathbf{x})}[\log (p_{\theta}(\mathbf{x} \mid \mathbf{z}))]-\mathrm{D}_{\mathrm{KL}}( q_{\phi}(\mathbf{z} \mid \mathbf{x}) \| \mathrm{p}(\mathbf{z})) \leq \log (p_{\theta}( \mathbf{x}))$

对于 VAE，变分后验是

q_{ϕ} (z ∣ x^{(i)}) = N (μ^{(i)}, σ^{2 (i)} I),

$q_{\boldsymbol{\phi}}(\mathbf{z} \mid \mathbf{x}^{(i)})= \mathcal{N}( \boldsymbol{\mu}^{(i)}, \boldsymbol{\sigma}^{2(i)} \mathbf{I}),$

之前是

p (z) = N (0, I) .

$\mathrm{p}(\mathbf{z})=\mathcal{N}( \boldsymbol{0}, \mathbf{I}).$

所以

D_{K L} (q_{Φ} (z ∣ x) ‖ p_{z} (z)) = \frac{1}{2} \sum_{j = 1}^{J} (1 + \log (σ_{j}^{2}) - σ_{j}^{2} - μ_{j}^{2})

$\mathrm{D}_{\mathrm{KL}}\left(\mathrm{q}_{\Phi}(\mathbf{z} \mid \mathbf{x}) \| p_{z}(\mathbf{z})\right)=\frac{1}{2} \sum_{j=1}^{J}\left(1+\log \left(\sigma_{j}^{2}\right)-\sigma_{j}^{2}-\mu_{j}^{2}\right)$

这是我知道先验在帮助确定部分损失函数方面发挥作用的一种方式。

先前的 VAE 是否还有其他作用？