机器算法验证 - 梯度的方差，例如在 SGD 中 - 吾爱随笔录 - 问答

梯度的方差，例如在 SGD 中

机器算法验证方差梯度下降随机梯度下降

2022-03-23 13:10:40

在有关随机优化方法（例如 SGD）的论文中，人们经常谈论梯度的方差 $g$ 并且主要表达如下：

Var (g_{r}) = E (‖ g - E (g) ‖_{2}^{2}) = E (‖ g ‖_{2}^{2}) - ‖ E (g) ‖_{2}^{2}

$\operatorname {Var}(g_r) = E(\|g-E(g)\|_2^2)=E(\|g\|^2_2)-\|E(g)\|_2^2$

这让我想起了随机变量的标准方差定义 $X$ ，那是：

Var (X) = E [(X - E (X))^{2}] = E (X^{2}) - E (X)^{2}

$\operatorname {Var} (X)=\operatorname {E} \left[(X-\operatorname {E}(X))^{2}\right]=\operatorname {E}(X^2)-\operatorname {E}(X)^2$ .

所以这让我感到困惑：

在上面的表达式中，我们有 $\operatorname {Var} (g)$ ，不是 $\operatorname {Var} (\|g\|)$ . 那么为什么 l2 范数会出现在这里呢？
$g_r$ 是向量值随机变量，其值在 $\mathbb {R} ^{n}$ .对于向量值随机变量，方差应该是 $\operatorname {E} ((X-\mu )(X-\mu )^{\operatorname {T} })$ ，即方差-协方差矩阵。为什么我们仍然在这里应用另一个公式？

我不是统计专家，因此非常感谢您的澄清。

先感谢您！

1个回答

我对这个问题进行了更多思考，得出了以下结论：大多数处理 SGD 方差减少的论文（SVRG、SAGA 和 SAG 等方法）实际上是指梯度方差的 1-范数（trace的 cov 矩阵）当他们写 $\operatorname{Var}(g)$ .

假设随机梯度 $g \in \mathbb{R}^p$ 是我们拥有的真实梯度的无偏估计：

\begin{aligned} ‖ diag (Cov (g)) ‖_{1} = ‖ Var (g) ‖_{1} = & | E (g^{1} - \nabla f^{1})^{2} | + . . . + | E (g^{p} - \nabla f^{p})^{2} | \\ = & E ((g^{1} - \nabla f^{1})^{2} + . . . + (g^{p} - \nabla f^{p})^{2}) \\ = & E (‖ g - \nabla f ‖_{2}^{2}) \\ = & E (‖ g ‖^{2}) - ‖ \nabla f ‖^{2} \\ = & E (‖ g ‖^{2}) - ‖ E (g) ‖^{2} \\ \overset{d e f}{=} & Var (g) \end{aligned}

$\begin{equation} \begin{aligned} \| \text{diag}(\operatorname{Cov}(g))\|_1= \|\operatorname{Var}(g)\|_1=&|\operatorname{E}(g^1-\nabla f^1)^2|+...+ |\operatorname{E}(g^p-\nabla f^p)^2| \\ =& \operatorname{E}((g^1-\nabla f^1)^2+...+(g^p-\nabla f^p)^2) \\=&\operatorname{E}(\|g-\nabla f\|_2^2)\\=&\operatorname{E}(\|g\|^2)-\|\nabla f\|^2\\=&\operatorname{E}(\|g\|^2)-\|\operatorname{E}(g) \|^2\\ \overset{def}{=}& \operatorname{Var}(g) \end{aligned} \end{equation}$

其它你可能感兴趣的问题

上一篇从 k-means 构建特征下一篇“独特点”和度数上的 R 多项式展开误差