我目前正在阅读一篇论文,该论文使用 CNN 作为解决一些图像分类问题的基本方法,我发现他们一直在提到“可区分架构”这个术语,我不知道它的含义,因为我是对这个深度学习、神经网络等世界的新手来说,总结一下我的问题是
“可微分架构”是什么意思?
如果没有具体的上下文,我无法给出明确的答案,但是“可微架构”很可能是指表示/计算可微函数的神经网络(因此您需要使用可微激活函数,例如sigmoid),即你可以对神经网络的每个参数/权重取损失函数的偏导数,所以你可以使用反向传播来找到损失函数的梯度,因此,你可以用梯度下降训练这个神经网络,这是一种数值/迭代优化算法,用于找到函数的(局部)最小值。
你会发现周围的大多数架构都是可区分的。事实上,梯度下降是当今训练神经网络最广泛使用的算法。