在 He 等人的残差学习论文中，有许多训练/测试误差与反向传播迭代的图。我只在这些图上看到过“平滑”曲线，而在本文的应用程序中，出现了突然的改进。在此图中（上面链接的论文中的图 4a），它们的迭代次数约为 15e4 和 30e4：

这里发生了什么？我的直觉会说反向传播到达一个梯度接近零的平台，然后突然发现一条陡峭向下的路径——但对于成本函数来说，这是一个现实的形状吗？