人工智能 - 神经元总输入的标准差 - 吾爱随笔录

神经元总输入的标准差

人工智能神经网络数学概率分布

2021-10-26 22:53:29

Raul Rojas 的神经网络系统介绍，第 8.2.1 节计算隐藏神经元输出的标准差。

从：

σ^{2} = \sum_{i = 0}^{n} E [w_{i}^{2}] E [x_{i}^{2}]

$\sigma^2 = \sum^n_{i=0}E[w_i^2]E[x_i^2]$

当我尝试我得到的是（与 $E[x_i^2] = \frac{1}{3}$ 和 $w_i \in [-\alpha, \alpha]$ ):

σ^{2} = \sum_{i = 0}^{n} E [w_{i}^{2}] E [x_{i}^{2}] = [n \frac{(α - (- α))^{2}}{12}] [n \frac{1}{3}] = n^{2} α^{2} \frac{1}{9}

$\sigma^2 = \sum^n_{i=0}E[w_i^2]E[x_i^2] = [n\frac{(\alpha-(-\alpha))^2}{12}][n\frac{1}{3}]=n^2\alpha^2\frac{1}{9}$

σ = \sqrt{n^{2} α^{2} \frac{1}{9}} = n α \frac{1}{3}

$\sigma = \sqrt{n^2\alpha^2\frac{1}{9}}=n\alpha\frac{1}{3}$

但劳尔·罗哈斯总结道：

σ = \frac{1}{3} \sqrt{n} α

$\sigma = \frac{1}{3}\sqrt{n}\alpha$

我是否遗漏了用于节点输入的大数定律的一些含义？

感谢您的时间：）

1个回答

如果 n 个具有相关权重的不同边 $w_1, w_2, . . . , w_n$ 指向这个节点，然后从区间中选择具有均匀概率的权重 $[−α, α]$ ，该节点的预期总输入为
$\sum_{i} w_{i} x_{i}$ $\sum_iw_ix_i$ . 根据大数定律，我们还可以假设节点的总输入具有高斯分布。

请注意，节点的输入是

w_{1} x_{1} + w_{2} x_{2} + . . . + w_{n} x_{n}

$w_1x_1 + w_2x_2 + ... + w_nx_n$

节点总输入的方差为：

σ^{2} = \sum_{i = 1}^{n} E [w_{i}^{2}] E [x_{i}^{2}] = n (E [w_{1}^{2}] E [x_{1}^{2}]) = n ([\frac{(α - (- α))^{2}}{12}] [\frac{1}{3}]) = n α^{2} \frac{1}{9}

$\sigma^2 = \sum^n_{i=1}E[w_i^2]E[x_i^2] = n(E[w_1^2]E[x_1^2]) = n([\frac{(\alpha-(-\alpha))^2}{12}][\frac{1}{3}])=n\alpha^2\frac{1}{9}$

因为输入和权重不相关。

我已取出总和并将其替换为 $n$ 乘以输入和权重的方差——这是可以做到的，因为两者都是独立的，并且本身分布相同，并且彼此独立。方差 $w_1$ 与方差相同 $w_n$ .

我是否遗漏了用于节点输入的大数定律的一些含义？

是的。

大数定律的含义：

注意随机变量 $E(w_ix_i)$ 在

E (\sum_{i}^{n} (w_{i} x_{i})^{2})

$E(\sum^n_i(w_ix_i)^2)$ 写成随机变量的乘积

E (w_{i})

$E(w_i)$ 和

E (x_{i})

$E(x_i)$

\sum_{i = 1}^{n} E [w_{i}^{2}] E [x_{i}^{2}]

$\sum^n_{i=1}E[w_i^2]E[x_i^2]$ . 这只能在两个随机变量独立时才可以写。而期望和求和的切换是由于期望性质的线性关系。我们如何在这里获得独立？LLN 前来救援。

这是因为 - 根据大数定律 -随机变量（总输入）服从正态分布，这意味着两个随机变量，即权重和输入也服从正态分布 -它也是假设两个随机变量不相关，因此它们是独立的。

其它你可能感兴趣的问题

上一篇在与对手的游戏中训练演员评论算法下一篇连续动作是独立的吗？