损失减少意味着模型改进，它不会在错误的设置中，随机选择产生最小的损失。所以这是一些严重的设置错误。你有什么课？我最近还尝试了一个编码层太窄的编码器——它只是用平均值平衡输出，导致这种状态的损失最小。

重要的是要记住损失的确切测量值，并记住一些典型值。

交叉熵损失为$-\mathbb{E}_{x,y\sim p}\left[\log q(y|x)\right]$， 在哪里$p$是数据分布和$q$是模型分布。关于损失的几点：

• 它是非负的，在范围内$[0, \infty)$.
• 随机预测（假设平衡类）给出的损失等于$\log k$.

在您有四个类的情况下，随机分类器的损失是$\log 4 \approx 1.39$. 因此，您的模型发生的事情的故事可能是最初（由于初始化等）它预测了高但错误的置信度，例如为某些类提供 99% 的概率。这会产生非常高的损失，但经过一段时间的训练后，它会通过预测所有示例的 25% 将其损失减少到略低于随机损失。