如果两个网络之间的分类误差相等但 MSE 不同,这意味着什么?

人工智能 神经网络 训练 遗传算法 均方误差
2021-11-05 03:17:57

我正在尝试使用遗传算法训练前馈神经网络,并且我已经使用均方误差和分类误差函数作为 GA 中的适应度启发式进行了一些测试。

当我使用 MSE 作为误差函数时,我的 GA 趋向于在 MSE 为 0.1 附近收敛(初始条件的 MSE 为 0.9 左右)。使用这个网络测试系统的准确度为我提供了 95% 以上的训练和测试数据。

但是,当我使用分类错误作为我的启发式方法时,我的 GA 往往会在 MSE 约为 0.3 时收敛。系统准确度仍然大致相同,为 95%+。

我的问题是,如果您有两个网络,一个显示 MSE 为 0.1,一个显示 MSE 为 0.3,但两者在准确性方面的表现大致相同,我可以从 MSE 的差异中推断出什么?

换句话说:即使准确度相同,哪个网络“更好”?较低的 MSE 是否意味着低于一定数量?我可以将我的网络训练 100 倍的代数并获得更好的 MSE,但不一定有更好的准确性。为什么?

对于某些情况:

在此处输入图像描述

当 MSE 大约为 1.5(epoch 250)时,准确度似乎与 MSE 大约为 2.0(epoch 50)相匹配。为什么尽管 MSE 降低,但准确率却没有提高?

2个回答

MSE 只是测量实际值和目标值之间的平方差。它仍然可以正确地对值进行分类,但可能没有相同的置信度——导致更高的损失(例如,当目标为 1 时,输出为 0.77 与 0.98)。就哪个更好而言,如果没有您的问题的具体情况,我将不知道。较高的损失可能更稳健,因为它不太可能过度拟合数据,但仍能达到相同的准确度。

准确性本身并不是比较两个模型的充分方法。例如,您需要考虑准确率和召回率统计数据(请参阅混淆矩阵)并计算其他一些指标,例如 f1 分数。准确度的测量只是帮助我们了解模型是否“工作”的初始状态。但是为了理解和比较,您需要知道有多少冒名顶替者的集合被归类为真正的索赔人,以及根据正确分类的总数之和,有多少真实索赔人的集合被归类为冒名顶替者。为了在上述已知情况下做出决定,您必须定义错误分类的严重程度?例如,假设您需要对一个人是否患有疾病进行分类?(这很关键)。