我有一个关于混淆矩阵的问题。
首先，我们讨论多类分类的情况，因此混淆矩阵具有维度，例如 4 乘以 4，用于具有 4 个可能结果的分类任务。
正确的预测应该把所有答案都放在对角线上。是否可以评价对角线上的结果有多接近？例如，与错误地预测更远的类别（预测 4 而它是 1）相比，预测非常接近当前类别的类别（所以猜测 3 而不是 4）要好得多。
有没有可以考虑到这一点的指标？对稍微偏离理想目标的更友好的班级进行评分，并惩罚离真实班级更远的更严重的错误分类？
我一直在互联网上寻找很多关于此的信息，但到目前为止还没有运气。
关于如何进行的任何建议？
定义列/行的类可以任意重新排列。因此，错误分类到对角线的“距离”没有意义。所以不，没有这样的指标。
我喜欢@Dave 的评论：“称狗为猫比称狗为马更糟糕吗？”
也许你会问自己，“有些班级感觉比其他班级更紧密”
例如，我们可以创建一个这样的混淆矩阵：
（在哪里当然表示非二进制）。
感觉分类错了就像应该比错误分类“更错误”作为. 毕竟，女人不是对象。
然而，在绝情分类器的世界里，“女人”没有意义，“对象”也没有。因此，我们称这样的分类器为“工具”。
编辑以解决您的评论：
在存在某种距离概念的情况下，您将使用回归而不是分类。您甚至可以对离散因变量使用回归。换句话说，您需要数字或序数数据才能使距离有意义。
要在“分类”代表性能的变量的评论中使用示例：
连续：如果您将性能作为连续变量来衡量，那么使用回归是很明显的。
Ordinal：但是，即使您以 1-10 的整数尺度来衡量性能，您仍然可以对数据进行回归。（顺便说一句，在实践中，如果您认为所有测量都受到分辨率/精度的限制，则可以认为它们都是离散的）。您还可以将有序概念映射到离散但数值。例如，李克特量表（Strongly Disagree、Disagree、Neutral、Agree和Strongly Agree）可以映射到整数 1-5。但是，如果不映射到数值就无法直接确定距离的原因是标称值之间没有内在距离。Strongly Disagree可能是两个单位Disagree，也可能Neutral是十亿单位Agree。
标称：如果您在没有明确排序的情况下使用诸如“好”、“体面”、“良好”之类的词来衡量绩效，那么距离毫无意义。
如果您的课程具有自然顺序，例如考试成绩，则可以将其编码为连续整数。这样，您可以绘制混淆矩阵，并在将预测视为整数值时给出平均绝对误差。
注意相邻类之间的不等距离，这可能会使像 MAE 这样的指标产生误导，具体取决于您的应用程序。例如，在考试成绩的情况下，C 和 B 之间的区别可能比 A 和 B 之间的区别更大，因此更容易将 B 错误标记为 A。