...预期的 [平方误差] 损失可以分解为平方偏差项（描述平均预测与真实模型的距离）、方差项（描述预测在平均值周围的分布）和噪声项（给出数据的固有噪声）。

在查看平方误差损失分解时 我只看到两个术语：一个用于偏差，另一个用于估计器或预测器的方差。预期损失中没有额外的噪声项。应该是因为可变性是的可变性，而不是样本本身的可变性。

$$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$$ $\delta(X_{1:n})$$\delta(X_{1:n})$

1. 可以使用除平方损失之外的损失函数执行偏差方差分解吗？

我对平方偏差+方差分解[以及我教它的方式]的解释是，这是毕达哥尔定理的统计等价物，即估计量与某个集合内的点之间的平方距离是平方距离的总和估计量和集合之间的距离，加上集合上的正交投影和集合内的点之间的平方距离。任何基于具有正交投影概念的距离的损失，即内积，即本质上是希尔伯特空间，都满足这种分解。

2. 对于给定的模型数据集，是否存在多个模型的预期损失是所有模型中最小的，如果是，这是否意味着可能存在产生相同最小预期损失的偏差和方差的不同组合？

问题尚不清楚：如果通过最小模型，你的意思是 那么有很多例子具有恒定预期损失（或风险）的统计模型和相关决策。以正态均值的 MLE 为例。

$$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$$

4. 如果您不知道真实模型，如何计算偏差？

在一般意义上，偏差是真实模型与假设分布族中最接近模型之间的距离。如果真实模型未知，则可以通过 bootstrap 确定偏差。

5. 在某些情况下，最小化偏差或方差比预期损失（偏差和方差的平方和）更有意义吗？

当考虑像 alpha 推到零将大部分评估放在偏差上，而将推到无穷大则切换关注方差。

$$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$$ $\alpha$$\alpha$