在反向传播期间不改变 CNN 的过滤器权重的效果

数据挖掘 机器学习 美国有线电视新闻网 极简主义
2021-09-18 05:13:47

在反向传播期间不改变 CNN 的过滤器权重有什么影响?在 MNIST 数据集上进行训练时,我只更改了全连接层的权重,但仍然达到了近 99% 的准确率。

1个回答

通过不改变 CNN 卷积层的权重,您实际上是在为分类器(全连接层)提供随机特征(即,不是手头分类任务的最佳特征)。

MNIST 是一项非常简单的图像分类任务,您几乎可以将输入像素馈送到分类器,而无需任何特征提取,并且它仍然会在 90 年代获得高分。除此之外,也许池化层有点帮助......

尝试在输入图像上训练 MLP(没有 conv/pool 层)并查看它的排名。是一个示例,其中 MLP(1 个隐藏层和 1 个输出层)在没有任何预处理/特征提取的情况下达到 98+%。


编辑:

我还想指出我写的另一个答案,它更详细地说明了为什么MNIST 作为图像分类任务如此简单。