如何预训练卷积滤波器

机器算法验证 神经网络 深度学习 卷积神经网络 预训练
2022-03-15 09:07:36

我正在实现卷积神经网络,用于对大约 10 个类别的自然图像进行分类,例如人脸、汽车、花卉等。我读到(来自 Andrew NG 的笔记)预训练的卷积滤波器是实现 cnn 的高效且资源消耗更少的方式。我们知道预训练卷积滤波器的一种方法是使用稀疏自动编码器。

我通过输入具有 100 个隐藏单元的 28x28x3 图像块来训练第一层。

然后我将图像与那些特征图进行卷积。

与上面类似,我使用 28*28*100(100 个深度或隐藏单元的新图像)图像块作为输入和性能稀疏自动编码器,但它没有生成任何有用的特征图。

我应用的方法是否正确。有没有其他方法可以预训练特征图或卷积过滤器。请帮忙,寻找一些解决方案。

1个回答

据我所知,现在预训练并不那么流行。

  • 尝试使用像thisthis 这样的正确初始化。
  • 使用批量标准化(不过,它会使前一点变得不那么重要)。您将获得更多的准确性,但会产生一些计算开销。

附言

现在,当我写这篇文章时,我在 Cross Validated 上找到了一个很好的答案。