计算科学 - 样本平均近似与数值积分 - 吾爱随笔录

要计算目标函数的期望值，我们有两种选择：

样本平均近似值 (SAA)： $\frac{1}{N} \sum_{i = 1}^{N} f (x, ξ^{i}) .$ $\frac{1}{N}\sum_{i=1}^N f(x,\xi^i).$
数值积分（例如，蒙特卡洛方法）：其中是概率密度函数，是概率函数的近似值。 $\frac{1}{N} \sum_{ξ^{i} \in Ξ^{N}}^{N} f (x, ξ^{i}) p (ξ^{i}),$ $\frac{1}{N} \sum_{\xi^i\in\Xi^N}^N f(x,\xi^i)p(\xi^i),$ $p(\cdot)$ $\Xi^N\subset\Xi$ $\Xi$

由于大数定律，SAA 的值收敛到真实期望 ( ) 为但是，从数值的角度来看，这两种方法有什么区别呢？ $\mathbb{E}[f(x,\xi)]$ $N\to\infty$

更具体地说，在随机优化或方程组最小二乘均值的预期残差最小化中，这些方法的收敛速度有何不同？