我有兴趣了解在 MNIST、STLN-10 和 CIFAR 等标准图像分类任务方面，哪种神经网络架构目前是最先进的（有时缩写为“SOTA”）。这很有挑战性，因为新结果经常发布，而且很难跟上。是否有资源或网站可以跟踪这些任务的最佳结果？
目前最先进的卷积神经网络有哪些？
机器算法验证
神经网络
参考
卷积神经网络
2022-03-19 02:41:01
4个回答
最好的建议来自 shimao：
通常，任何声称在任何任务上表现良好或最先进的新论文都会有一个与以前的结果相比相当全面的结果表，这可能是跟踪的好方法。
任何排行榜很快就会变得无用，因为它们基本上总是由（本科/研究生）学生维护，他们一旦获得学位/找到工作就停止更新它们。无论如何，如果 CIFAR-10 和 CIFAR-100 对你来说足够好，这也很好：
https://github.com/arunpatala/cifarSOTA
这个更通用（包括 ImageNet），它有更新的结果：
https://github.com/Lextal/SotA-CV
这是我以前使用的，但所有者已停止更新它，因为它经常发生：
https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems/
最后，你可能会对 Ali Rahimi 刚刚发布的这个 Jupyter notebook感兴趣，它基于从 LSVRC 和 COCO 网站上抓取的数据。
最后一点：如果您正在寻找最新结果，因为您想将您的结果与 SotA 进行比较，那就太好了。但是，如果您的目标是将 ImageNet 上的“最佳”架构应用到使用迁移学习的工业应用程序中，您应该知道（如果您还没有的话）最新的架构在平移不变性方面比旧的架构更差. 如果您的数据集没有摄影师偏见，或者您没有足够的计算和数据来重新训练架构以更有用的图像分布，那么这是一个风险。查看优秀的预印本：
在这个网站上维护了一个“排行榜”，“分类数据集结果”。维护者试图跟踪各种神经网络架构的已发布结果。
排行榜不仅限于 CNN本身——任何网络都是可以接受的。但由于排行榜上跟踪的所有任务都是图像任务（在撰写本文时），很可能许多网络将是 CNN，因为它们在图像任务上非常有效。
DenseNet是 ResNet 的通用继承者，在 CIFAR-10 上实现了 3.46% 的错误，在 C-100 上实现了 17.18。与排行榜上提到的 3.47 和 24.28 相比。
Shake-shake、Shake-drop和可能的其他变体是正则化技术，可用于任何类似 ResNet 的架构，在 C-10 上实现 2.86/2.31% 的误差，在 C-100 上实现 15.85/12.19 (shake-shake/shake-降低）。这些技术仅适用于多分支架构，这就是我提到它们的原因，即使它们本身并不是严格的架构。
高效的神经架构搜索（使用强化学习来搜索架构）使用Cutout正则化技术找到了一个在 C-10 上实现 2.89% 错误的网络。性能为 3.54%（无切口）。
总结：Dense Net 和可能一些 ENAS 产生的网络可能比 ResNet 表现得稍好，但是使用复杂的正则化技术使得比较确实很困难。
我不知道任何真正最新的排行榜，但通常任何声称在任何任务上表现良好或最先进的新论文都会有一个与以前的结果相比相当全面的结果表，这可以是跟踪的好方法。
为了检查各种应用领域中最先进的神经网络架构（和其他机器学习模型），现在有一个名为pageswithcode的页面。