神经元本身只保存它们的激活值（或当我们考虑神经元的输入层时的输入值）。您提到的权重实际上表明了后续层中神经元之间连接的强度（可能还有每层的偏差）。使用您的术语，权重将属于当前层和下一层中的神经元。

对于每个神经元，与其他神经元的连接强度被保存下来。换句话说，所有的权重（可能还有偏差）都被保存了。

有关神经网络基础知识的更多信息，尤其是多层感知器，我可以推荐这个网站。