在同一本书的第 130 页，作者指出$\hat{p}_\text{data}$是由训练数据定义的经验分布。同样，在第 129 页，他指出$p_\text{data}$是生成集合的真实分布$\mathbb{X} = \{ \boldsymbol{x}^{(1)}, \dots, \boldsymbol{x}^{(m)} \}$.

和有什么区别$\hat{p}_\text{data}$和$p_\text{data}$? 你可以想到$\hat{p}_\text{data}$作为从集合计算的直方图$\mathbb{X}$和$p_\text{data}$作为其中元素的真实分布$\mathbb{X}$绘制。

下标${\boldsymbol{x}, y \sim \hat{p}_\text{data}}$在期待中$\mathbb{E}_{\boldsymbol{x}, y \sim \hat{p}_\text{data}}$表示期望是针对从经验分布中抽取的样本进行的$\hat{p}_\text{data}$. 换句话说，您将优化目标函数$J$使用训练数据。看看这个问题以获取更多信息。

下标${\boldsymbol{x}, y \sim p_\text{data}}$在公式的期望中$5.101$是一个错字。事实上，在这本书的网络版中，在第 151 页，期望的下标是 ${\boldsymbol{x}, y \sim \hat{p}_\text{data}}$.