答案 1。

变分推理（VAE 所基于）的动机是减少，其中 p(z) 是我们选择的隐藏变量 z 的分布。做一些数学运算后，我们可以把这个表达式写成——$KL(q(z|x)||p(z))$

$KL(q||x) = log(p(x)) - \Sigma_z q(z)log(\frac{p(x,z)}{q(z)})$

对于给定的 x，RHS 的第一项是常数。所以我们最大化第二项，使 KL 散度变为零。

我们可以将第二项写成

$E_{q(z)}[log(p(x|z)] - KL(q(z|x)||p(z))$

（尝试将 p(x,z) 写为然后展开。这里，p(z) 是我们选择的分布，即高斯分布）。我们认为从 z 到 x 的过程是确定性的，而 z 是高斯的。因此，第一项可以替换为（我们将 z 替换为因为它是确定性的——现在这是确切的证明） . 所以我们有——$\frac{p(x|z)}{p(z)}$$exp(log(-||x-\hat{x}||^2))$$\hat{x}$

$maximize(-||x-\hat(x)||-KL(q(z|x)||p(z)))$

我们得到了我们的损失函数。

我们也知道变分自编码器几乎永远找不到最佳解决方案，所以我不确定使用权重会如何影响它（我也不知道它在数学上是否有意义）。

答案 2。

我们可以说 KL 散度具有正则化效果。

这个页面有一些很好的实验，可以帮助你理解当你减少 KL 散度部分时潜在空间会发生什么。

答案 3。

是的，你可以这么说。您正在修复尺寸，但对分布很宽容。实际上，您正在通过这样做来接近自动编码器。

分离-

我想把你引向这篇文章。它解释了为什么我们选择最小化而不是（后者是难以处理的）以及如果我们为估计量 q(z) 选择较少的自变量。$KL(q(z|x)||p(z))$$KL(p(z)||q(z|x))$

另外，您是否尝试过增加潜在空间的尺寸？它还可以具有“去正规化”的效果。似乎模型对数据的拟合不足——与减少正则化项相比，重建损失与正常损失相比很高。

希望能帮助到你。