5 年后,maxout 网络死了,为什么?

人工智能 深度学习 辍学
2021-11-12 00:37:27

Maxout 网络是 Goodfellow 等人的一个简单而绝妙的想法。从 2013 年到最大特征图,以获得凸激活的通用逼近器。该设计专为与 dropout(后来引入)结合使用而量身定制,并在 CIFAR-10 和 SVHN 等基准测试中产生了最先进的结果。

五年后,dropout 肯定还在,但 maxout 呢?根据 Google Scholar 的说法,该论文仍然在最近的论文中被广泛引用,但似乎几乎没有人真正使用该技术。

那么 maxout 是否已成为过去,如果是,为什么 - 是什么让它在 2013 年成为最佳表现者,但在 2018 年却没有?

1个回答

基本上,如果你阅读全文(尤其是摘要和第 7 节),你会发现主要成就仍然是 dropout 之上的边际贡献。

如果您查看 maxout原始论文的表 5(第 5 页)上的经验结果,您会发现误分类率仅比 dropouts 低非常非常低。(2.47% 而不是 2.78%)

这可以解释对这项工作的相对较低的兴趣。