计算科学 - 分段线性基函数与 RELU 激活函数之间的联系 - 吾爱随笔录

ReLU激活定义如下

σ (x) = max (0, x) .

$\sigma(x)=\max(0, x).$ 假设我有 1 个隐藏层的深层网络，我的层的输出形式为其中矩阵 W 代表权重，b 是偏差，x 代表输入数据（输出上一层）。

f (x) = σ (W x + b),

$f(x)= \sigma(Wx +b),$

和分段线性函数有什么联系，定义为其中代表系数，代表基功能。 $f(x)$

g (x_{j}) = \sum_{i = N}^{N} α_{i} ψ_{i} (x_{j}),

$g(x_j)=\sum_{i=N}^N \alpha_i \psi_i(x_j),$

α_{i}

$\alpha_i$

ψ_{i}

$\psi_i$

更准确地说，我想在的定义中确定基函数和系数。 $f(x)$