机器算法验证 - 方差计算RELU函数（深度学习） - 吾爱随笔录

机器算法验证数理统计方差随机变量深度学习

2022-03-17 04:40:51

权重初始化对于现代深度学习很重要。要了解[1,2]，我想了解以下内容：

E [x^{2}] = 0.5 V a r [y],

$E[x^2] = 0.5 Var[y],$

在哪里 $x= max(0,y)$ , $E[.]$ 是期望， $Var[.]$ 方差， $x,y$ 是随机变量。我们猜测 $y$ 均值为零并且围绕均值对称。

感谢您的解释/推导

1个回答

就积分而言，您有：

E [x^{2}] = \int_{- \infty}^{+ \infty} max (0, y)^{2} p (y) d y

$E[x^2] = \int_{-\infty}^{+\infty} \max(0,y)^2 p(y) dy$

其中部分对积分没有贡献 $y < 0$

= \int_{0}^{+ \infty} y^{2} p (y) d y

$= \int_{0}^{+\infty} y^2 p(y) dy$

我们可以将其写为整个实域上积分的一半（围绕 0 对称，并且假设围绕对称）： $y^2$ $p(y)$ $0$

= \frac{1}{2} \int_{- \infty}^{+ \infty} y^{2} p (y) d y

$= \frac{1}{2}\int_{-\infty}^{+\infty} y^2 p(y) dy$

现在在正方形中减去零，我们得到：

= \frac{1}{2} \int_{- \infty}^{+ \infty} (y - E [y])^{2} p (y) d y

$= \frac{1}{2}\int_{-\infty}^{+\infty} (y - E[y])^2 p(y) dy$

这是

= \frac{1}{2} E [(y - E [y])^{2}] = \frac{1}{2} V a r [y]

$= \frac{1}{2} E[(y - E[y])^2] = \frac{1}{2} Var[y]$

其它你可能感兴趣的问题