人工智能 - 在 MINE 论文中，为什么是G^乙G^B有偏差，指数移动平均线如何减少偏差？ - 吾爱随笔录

在 MINE 论文中，为什么是G^乙G^B有偏差，指数移动平均线如何减少偏差？

人工智能神经网络深度学习文件生成对抗网络随机梯度下降

2021-10-27 06:31:13

在阅读互信息神经估计 (MINE) 论文 [ 1 ] 时，我遇到了第3.2 节纠正随机梯度的偏差。所提出的方法需要计算梯度

{\hat{G}}_{B} = E_{B} [\nabla_{θ} T_{θ}] - \frac{E_{B} [\nabla_{θ} T_{θ} e^{T_{θ}}]}{E_{B} [e^{T_{θ}}]},

$\hat{G}_B = \mathbb{E}_B[\nabla_{\theta}T_{\theta}] - \frac{\mathbb{E_B}[\nabla_{\theta}T_{\theta}e^{T_{\theta}}]}{\mathbb{E}_B[e^{T_{\theta}}]},$

在哪里 $\mathbb{E}_B$ 表示对小批量的期望操作 $B$ ，和 $T_{\theta}$ 是一个神经网络参数化 $\theta$ . 作者声称这种梯度估计是有偏差的，可以通过简单地执行指数移动平均滤波来减少这种偏差。

有人可以给我一个提示来理解这两点：

为什么是 $\hat{G}_B$ 有偏见，并且
指数移动平均线如何减少偏差？

1个回答

MINE 中的下限如下：

{\hat{I (X; Z)}}_{n} = sup_{θ \in Θ} E_{P_{X Z}^{(n)}} [T_{θ}] - \log E_{P_{X}^{(n)} \otimes {\hat{P}}_{Z}^{(n)}} [e^{T_{θ}}]

$\widehat{I(X;Z)}_n = \sup_{\theta\in\Theta} \mathbb{E}_{\mathbb{P}_{XZ}^{(n)}}[T_\theta] - \log{\mathbb{E}_{\mathbb{P}_X^{(n)} \otimes \hat{\mathbb{P}}_Z^{(n)}}[e^{T_\theta}]}$

这里 $\mathbb{\hat{P}^{(n)}}$ 表示我们从 n iid 样本中得到的经验分布 $\mathbb{P}.$

请注意，在上面的等式中，第一项是根据联合分布计算的，而第二项是根据 $X$ 和 $Z$ . 在 MINE 的实现中，这些统计数据是根据来自minibatch的数据计算的。边际分布是通过沿批次维度打乱 Z（或 X）的值来获得的。因此，在这种情况下，梯度如下。

{\hat{G}}_{B} = E_{B} [\nabla_{θ} T_{θ}] - \frac{E_{B} [\nabla_{θ} T_{θ} e^{T_{θ}}]}{E_{B} [e^{T_{θ}}]},

$\hat{G}_B = \mathbb{E}_B[\nabla_{\theta}T_{\theta}] - \frac{\mathbb{E_B}[\nabla_{\theta}T_{\theta}e^{T_{\theta}}]}{\mathbb{E}_B[e^{T_{\theta}}]},$

如前所述，边缘的期望不是根据真实边缘分布（即整个数据集）计算的，而是根据小批量中的打乱样本计算的。因此，上述梯度 $G_B$ 是有偏见的。
当我们维持指数移动平均线 $\mathbb{E}_B[e^{T_{\theta}}]$ ，我们还结合了来自当前小批量之外的统计数据（即在整个数据集上）。这是试图获得真实边际估计的近似值。梯度中的分母项允许这种计算成本低的偏差减少技巧。

其它你可能感兴趣的问题

上一篇是否可以以自我监督的方式对 CNN 进行预训练，以便以后可以用于解决实例分割任务？下一篇是否可以从状态值函数中检索最优策略？