看一下ADAM优化器的定义，来自Kingma和Ba的原论文（paper）：

当然，这个定义是在损失函数最小化的背景下给出的。但我不明白的是，当有明确的公式（例如 MSE）在本文中这是有道理的，因为他们说是一个随机函数，但我不明白我们在哪里有这个随机部分，当我们只想最小化 MSE（例如，它没有任何随机部分）。$E[f(\theta)]$$f$$f(\theta)$

您能否向我解释一下损失函数的随机部分在哪里，为什么接受期望是有意义的？什么是随机变量？