来自Goodfellow 等人。（2014），我们有对抗性损失：

$$\min_G \, \max_D V (D, G) = \mathbb{E}_{x∼p_{data}(x)} \, [\log \, D(x)] + \, \mathbb{E}_{z∼p_z(z)} \, [\log \, (1 − D(G(z)))] \, \text{.} \quad$$

在实践中，期望被计算为小批量的平均值。例如，判别器损失为：

$$\nabla_{\theta_{d}} \frac{1}{m} \sum_{i=1}^{m}\left[\log D\left(\boldsymbol{x}^{(i)}\right)+\log \left(1-D\left(G\left(\boldsymbol{z}^{(i)}\right)\right)\right)\right]$$

我的问题是：为什么用平均值来计算期望值？这是否意味着$p_{data}$是均匀分布的，因为每个样本都必须从$p_{data}$等概率？

以积分表示的期望是：

$$\begin{aligned} V(G, D) &=\int_{\boldsymbol{x}} p_{\text {data }}(\boldsymbol{x}) \log (D(\boldsymbol{x})) d x+\int_{\boldsymbol{z}} p_{\boldsymbol{z}}(\boldsymbol{z}) \log (1-D(g(\boldsymbol{z}))) d z \\ &=\int_{\boldsymbol{x}} p_{\text {data }}(\boldsymbol{x}) \log (D(\boldsymbol{x}))+p_{g}(\boldsymbol{x}) \log (1-D(\boldsymbol{x})) d x \end{aligned}$$

那么，我们如何从涉及连续分布的积分转变为对离散概率求和，进而使所有这些概率都相同？

我可以从其他 StackExchange 帖子中找到的最好的结果是平均值只是一个近似值，但我真的想要一个更严格的解释。

这个问题不是 GAN 独有的，而是适用于数学上表示为对某些采样分布的期望的任何损失函数，这不是通过积分形式直接实现的。

（所有方程均来自 Goodfellow 论文。）