我有一个模型,我可以在其中预测类来定义交易机器人的指令。类别是 -2、-1、1 和 2(强卖、轻卖、轻买和强买),我使用简单的混淆矩阵来评估模型的性能,但是我想知道是否有是考虑到类之间的“距离”的其他方法。
我找到了一些关于序数回归的内容,但我已经以其他方式进行了分类(虽然不确定这些内容是否适用于我)。
有什么建议么?
我有一个模型,我可以在其中预测类来定义交易机器人的指令。类别是 -2、-1、1 和 2(强卖、轻卖、轻买和强买),我使用简单的混淆矩阵来评估模型的性能,但是我想知道是否有是考虑到类之间的“距离”的其他方法。
我找到了一些关于序数回归的内容,但我已经以其他方式进行了分类(虽然不确定这些内容是否适用于我)。
有什么建议么?
你可以计算平均绝对误差。
但是,我猜这个质量度量(以及考虑到距离的任何其他度量)与您在训练分类器时使用的损失函数不一致。所以这对你的算法是不公平的。就像您的教授在您提交测试后会更改评分系统一样。
您可能想重新考虑您的方法,而不是更改质量度量。使用序数回归的建议听起来不错。如果邻居之间的错误估计成本相似,您甚至可以使用普通回归然后四舍五入。