数据挖掘 - 关于“深度学习”书中给出的批量标准化简单示例的问题 - 吾爱随笔录

关于“深度学习”书中给出的批量标准化简单示例的问题

数据挖掘深度学习

2021-10-11 15:56:24

在 Ian Goodfellow （章节链接）关于深度学习批量标准化的部分中，有以下文本：

例如，假设我们有一个每层只有一个单元并且在每个隐藏层不使用激活函数的深度神经网络： $y=x w_1 w_2 w_3 \ldots w_l$ . 这里， $w_i$ 提供层使用的权重 $i$ . 层的输出 $i$ 是 $h_i=h_{i−1} wi$ . 输出 $y$ 是输入的线性函数 $x$ , 但权重的非线性函数 $w_i$ .

为什么 y 关于 w_i 是非线性的？

2个回答

我认为这句话的意思是当给定权重时 $w_1,...,w_n$ 是固定的，输出与线性成正比 $x$ ，但正如它所提到的

权重 w_i 的非线性函数

给定一组权重（不止一个是变化的），它们不会线性相加以产生类似的输出

$y=w_1x_1+...+w_nx_n$

而是非线性的

$y=w_1w_2..w_n*x$ （每个 $w_i$ 是超空间中的一个维度）

而且我认为从“输出与任何权重呈线性关系”的陈述中会变得更加清晰 $w_i$ 但与权重非线性 $w_i$ ”。

认为 $w_1 = w_2 =... w_n = w$ 然后 $y = w^n \times x$ . 在这个意义上是 $y$ 的线性函数 $x$ 和一个非线性函数 $w$ .

其它你可能感兴趣的问题

上一篇在 Python 或 Matlab 中构建模型后，如何部署模型？下一篇是否有用于网络的机器学习模型？