我在线性回归背后的数学问题上苦苦挣扎。在以下几行中，我粘贴了《模式识别和机器学习》（第 46 页）一书中的文本，其中作者推导出回归函数。我想了解从等式（2）到最终结果的过程。有人可以为我提供一些有用的指针（和/或链接），我应该研究变分法中的哪些概念。$\mathbb{E}_{t} [t | \mathbf{x}]$

平均预期损失由下式给出

$$\mathbb{E}[L] = \int \int L(t, x (\mathbf{x})) p (\mathbf{x}, t) \, d\mathbf{x} \, dt. \tag{1}$$

线性回归中损失函数的一个常见选择是由给出的平方损失。在这种情况下，预期损失可以写成$L (t, y(\mathbf{x})) = \{ y (\mathbf{x}) - t \}^{2}$

$$\mathbb{E}[L] = \int \int \{ y (\mathbf{x}) - t \}^{2} p (\mathbf{x}, t) \, d\mathbf{x} \, dt. \tag{2}$$

我们的目标是选择以最小化。我们可以使用变分法来做到这一点$y (\mathbf{x})$$\mathbb{E} [L]$

$$\dfrac{\delta \mathbb{E} [L]}{\delta y (\mathbf{x})} = 2 \int \{ y (\mathbf{x}) - t \} p (\mathbf{x}, t) \, dt = 0. \tag{3}$$

求解，并使用概率的和乘积规则，我们得到$y (\mathbf{x})$

$$y (\mathbf{x}) = \dfrac{\int tp (\mathbf{x}, t) \, dt}{p (\mathbf{x})} = \int t p (t | \mathbf{x}) \, dt = \mathbb{E}_{t} [t | \mathbf{x}] \tag{4}$$