可视化神经网络的损失情况:“过滤器”这个词的含义?

人工智能 神经网络 术语 文件 过滤器
2021-10-25 14:20:45

当我读到论文Visualizing the Loss Landscape of Neural Nets中的以下短语时,我发现自己摸不着头脑

为了消除这种缩放效应,我们使用过滤器归一化方向绘制损失函数。为具有参数的网络获取此类方向θ,我们首先生成一个随机的高斯方向向量d尺寸兼容θ. 然后,我们将每个过滤器归一化d具有与相应过滤器相同的范数θ. 换句话说,我们进行替换di,jdi,jdi,jθi,j

当他们提到向量的过滤器时,我完全不清楚作者指的是什么d在权重空间。据我所知,向量d是权重空间中的标准向量 (W) 具有的组件数量等于网络中可变权重的数量。在我看来,可以说网络中的每一层都可以可视化为权重空间中的一个向量(θi) 和:

θ=iθi

然后也许这些向量θi被称为过滤器?但这与随机向量有什么关系d,在这个空间中产生,对我来说仍然是一个完全的谜。

0个回答
没有发现任何回复~