我刚开始学习 Faster R-CNN,我对这个网络的优化器有些怀疑。据我了解,Adam 优化器在很多网络中的表现都比 SGD 好得多。然而,Faster R-CNN 的论文选择了 SGD 优化器而不是 Adam,而且我在 github 上发现的很多 Faster R-CNN 实现也使用 SGD 作为优化器。
我猜想以防万一更快的 R-CNN 亚当可能没有更好的表现。在我查找我的猜测之后,我发现这个答案链接给了我一个粗略的想法。在答案中,它表明 SGD 是比 ADAM 更好的通用适配器。但我仍然需要一些更详细的解释。
这是我的问题:
- 我们可以使用 Adam 作为 Faster R-CNN 的优化器吗?如果有人将 Adam 用于 Faster R-CNN,您能否分享一些有关 Adam 表现的结果?
- 正如上面链接中的答案所暗示的那样,在某些特殊情况下,Adam 的表现可能最差。我想问一下亚当在哪些特殊情况下会表现不佳。谁能给我一些例子?Faster R-CNN 是否属于这些特殊情况?