我正在训练一个用于图像字幕的深度网络，该网络由一个 CNN 和三个 GRU 组成。在训练纪元期间，模型损失（分类交叉熵）会减少，但是当我测量bleu、METEOR、和分数时ROUGE，我会在损失最严重的第一个纪元中得到最好的。我不明白为什么会这样？如果分类交叉熵不是自动编码器的合适损失函数，那么我应该改用什么？CIDErSPICE
为什么分类交叉熵损失与 NLP 分数不相关？
数据挖掘
深度学习
nlp
2022-02-06 21:10:20
1个回答
分类交叉熵和 BLEU 之间可能没有数学联系。如果我没记错的话，BLEU 可能是基于距离的计算机输出对人类判断的测量——任何地方都没有损失变量。这与可从分类交叉熵推导出的困惑度分数不同。
损失函数实际上取决于您与标签进行比较的内容。分类交叉熵提供了一种比较预测和真值标签分布并根据分布之间的“距离”计算误差的方法。分类交叉熵确实可以很好地模拟 NLP 中常见的离散向量标签的分布。
其它你可能感兴趣的问题