假设你有一个有 n 个神经元的输入层，第一个隐藏层有$m$神经元，通常具有$m < n$. 然后你计算动作$a_j$的$j$-隐藏层中的第一个神经元

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$， 在哪里$f$是一个激活函数$\tanh$或者$\text{sigmoid}$.

要训​​练网络，您需要计算输入的重构，表示为 $z$，并最小化之间的误差 $z$ 和 $x$. 现在$i$-第一个元素 $z$ 通常计算为：

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

我想知道为什么重建 $z$ 通常使用相同的激活函数而不是使用反函数来计算，为什么要分开 $w'$ 和 $b'$有用而不是使用捆绑的权重和偏差？用逆激活函数计算重建对我来说似乎更直观$f^{-1}$，例如， $\text{arctanh}$， 如下：

请注意，这里使用了捆绑权重，即 $w' = w^T$, 和偏差 $b_j$ 使用隐藏层，而不是为输入层引入一组额外的偏差。

还有一个非常相关的问题：为了可视化特征，而不是计算重建，通常会创建一个具有隐藏层维度的单位矩阵。然后，将矩阵的每一列用作重新激活函数的输入，该函数在输入神经元中产生一个输出。对于重新激活函数，使用相同的激活函数会更好（分别是$z_i$) 或反函数 (resp. the $z'_i$)?