人工智能 - 是否存在对权重有（硬）约束的神经网络？ - 吾爱随笔录

我对深度学习了解不多，所以我的问题可能很愚蠢。但是，我想知道是否存在对某些层的权重有一些硬约束的 NN 架构。例如，让 $(W^k_{ij})_{ij}$ 是（密集）的权重 $k$ -第层。是否存在强加它的架构，例如

\sum_{i, j} (W_{i j}^{k})^{2} = 1

$\sum_{i, j} (W^k_{ij})^2 = 1$ （即权重的滚动向量被限制在一个球体上）或

W_{i j}^{k}

$W^k_{ij}$ 是等价类

m o d K

$mod K$ 对于一些数字

K > 0

$K>0$ ?

然后，当然，人们可能应该为这些情况考虑适当的激活函数，但这可能不是一个大障碍。

设置这些类型的约束将防止权重无限增长，也许可以防止过度拟合？