在变分反编码器 (VAE) 中，编码器的输出，$\mu$和$\sigma$, 是输入数据的确定性函数$x$（你把$x$进入你的编码器神经网络，它会生成$\mu$和$\sigma$，这里没有随机的东西）。

然后是隐藏的表示$z$（后验）是从高斯分布中采样的，参数化为$\mu$和$\sigma$. 所以请注意，我们不谈论什么是分布$\mu$和$\sigma$（因为它们是基于确定性的$x$，而不是随机变量），但我们确实讨论了$z$.

“为什么我们要前馈具有高斯分布的潜在矩阵？”

具体来说，我们输入一个高斯分布变量$z$进入解码器网络。这是 VAE 关于如何生成样本的基本模型假设。请注意，VAE 和标准自动编码器之间的主要区别之一是 VAE 是一种生成模型，因为您可以随机生成样本，而不是使用输入$x$重建类似的东西$x$.

如果我们想象一个在 MNIST 手写数字数据集上训练的 VAE，我们希望随机抽样$z$~$p(z)=\mathcal{N}(0,1)$，并喂这个$z$进入解码器网络，它为我们提供输出分布（同样是高斯分布），并从该输出分布中采样得到一个数字的图像。

“为什么要比较 Mu 和 Sigma 矩阵的分布？”

我们不比较分布$\mu$和$\sigma$. 如上所述，我们正在谈论高斯分布的隐藏变量$z$（后$q_{\theta}(z|x)$) 参数化$\theta=(\mu,\sigma)$. 我们比较后验分布$z$与其先验（$p(z)=\mathcal{N}(0,1)$) 并且差值（通过它们的 KL 散度测量）被用作损失函数中的正则化项。

原因是我们想要潜在的表示$z$接近它的先验（标准高斯）。这与我们如何从 VAE 生成样本有关（我们首先从标准高斯先验样本）。如果我们编码一个$x$在与此相距甚远的某个地方，我们不太可能生成这样的样本。

例如，一个训练有素的 MNIST 后验（前两个维度）看起来像这样（来自这里的照片）

请注意，每个数字的后验（例如数字“0”的深蓝色）像高斯分布一样分布，并且距离不远$\mathcal{N}(0,1)$，但不同的数字确实占据不同的区域。

许多在线教程（例如此处或此处）对 VAE 中的概念有更详细的解释。我建议阅读它们。