Maxout 网络是 Goodfellow 等人的一个简单而绝妙的想法。从 2013 年到最大特征图,以获得凸激活的通用逼近器。该设计专为与 dropout(后来引入)结合使用而量身定制,并在 CIFAR-10 和 SVHN 等基准测试中产生了最先进的结果。
五年后,dropout 肯定还在,但 maxout 呢?根据 Google Scholar 的说法,该论文仍然在最近的论文中被广泛引用,但似乎几乎没有人真正使用该技术。
那么 maxout 是否已成为过去,如果是,为什么 - 是什么让它在 2013 年成为最佳表现者,但在 2018 年却没有?