当我读到论文Visualizing the Loss Landscape of Neural Nets中的以下短语时,我发现自己摸不着头脑:
为了消除这种缩放效应,我们使用过滤器归一化方向绘制损失函数。为具有参数的网络获取此类方向,我们首先生成一个随机的高斯方向向量尺寸兼容. 然后,我们将每个过滤器归一化具有与相应过滤器相同的范数. 换句话说,我们进行替换
当他们提到向量的过滤器时,我完全不清楚作者指的是什么在权重空间。据我所知,向量是权重空间中的标准向量 () 具有的组件数量等于网络中可变权重的数量。在我看来,可以说网络中的每一层都可以可视化为权重空间中的一个向量() 和:
然后也许这些向量被称为过滤器?但这与随机向量有什么关系,在这个空间中产生,对我来说仍然是一个完全的谜。