一般来说，您可以学习网络的任何参数，前提是您可以找到损失函数相对于所需参数的偏导数。鉴于$\rho$假设是可微的（正如作者在论文中所说），您可以对参数取损失函数的偏导数$\alpha$.

在本文中，$\rho$是一个非线性函数（即非线性函数，例如sigmoid 函数），它按元素应用于其输入。所以，如果你将一个向量传递给这个$\rho$，你会得到一个相同形状的向量。作者没有明确地将其称为“激活函数”，但$\rho$执行激活函数的类似工作，即它引入了非线性。此外，在这个架构中，$\rho$后面还有一个矩阵。一般来说，这是不被禁止的，即使它并不常见。

通常，在神经网络的每一层中，您可以有几个不同的可学习参数或权重。如果您可以区分损失函数，则参数是可学习的。您可以拥有多个权重矩阵。例如，循环神经网络通常具有与每一层相关联的多个权重矩阵：一个矩阵与前馈连接相关联，另一个矩阵与循环连接相关联。