这种公式/解释确实可能令人困惑（甚至误导），因为神经网络的输出通常是确定性的（即给定相同的输入$x$，输出总是相同的，所以没有采样），并且没有真正的概率分布来模拟与网络或输入参数相关的任何不确定性。

人们经常使用这种表示法来表示，在分类的情况下，给定输入的标签上存在分类分布，但这可能会产生误导，因为softmax（通常用于模拟这种分类分布的函数）只会压缩它的输入，并没有真正模拟与输入或神经网络参数相关的任何不确定性，尽管结果向量的元素加起来为 1。换句话说，在传统的深度学习中，每个参数只有一个点估计网络是学习的，并且没有正确建模不确定性。

然而，某些监督学习问题有正式的概率解释。例如，均方误差函数的最小化等效于对数概率的最大化，假设您的概率分布是均值等于模型输出的高斯分布。在这种概率解释中，您通常尝试学习概率（例如，训练数据集中的标签）而不是概率分布。观看Lecture 9.5 — G. Hinton 对权重衰减的贝叶斯解释（机器学习的神经网络）或阅读通过随机动力学的贝叶斯学习论文或通过 R. Neal的混合蒙特卡罗方法对反向传播网络进行贝叶斯训练以了解更多细节。

此外，还有贝叶斯神经网络 (BNN)，它实际上维护了神经网络每个参数的概率分布，该分布对与该参数值相关的不确定性进行建模。在这个 BNN 的前向传递过程中，具体的参数实际上是从相应的概率分布中采样出来的。BNN 的实际可学习参数是这些分布的参数。例如，如果您决定对神经网络的每个参数进行高斯分布，那么您将了解这些高斯分布的均值和方差。