一个新的 epoch 以与前一个 epoch相同的权重开始，但具有不同的 mini-batch 数据。由于这个原因，模型性能在小批量中会有小的波动。

始终以最佳整体权重开始每个时期可能会导致保持局部最优。梯度下降已经倾向于停留在局部最优中，代价是找到更好的最优。鼓励继续探索权重是训练的目标之一。

训练和验证损失总是有可能下降。训练性能变差是可以的，训练没有必要单调提升。

在训练结束时，您应该选择具有最低验证损失的权重。

因为你可能会得到类似的结果。请记住，上一个结果（0.0420 的有效损失）也是从您获得更好结果（0.0400 的有效损失）的点开始的，最终变得更糟。从“良好的检查点”随机重新启动可能会给您同样的情况。

看来你在这里有一个过度拟合的问题。有一些技术可以解决这类问题，例如正则化或提前停止。