机器学习中使用的有用评估指标是什么

数据挖掘 机器学习 神经网络 深度学习 nlp 文本挖掘
2021-10-07 20:03:00

我正在使用 CNN 在分析文本后预测代码。例如,我会写“我疯了”.. 模型会预测一些代码“X321”。这一切都基于CNN。

我想评估我的模型。我使用了 Fscore(召回率和精度)。你能告诉我更多的指标吗?

2个回答

对于模型评估,根据您的模型有不同的指标:

  • 混淆矩阵

    分类准确率
    (TP+TN)/(TP+TN+FP+FN)
    错误率
    (FP+FN)/(TP+TN+FP+FN)

  • 配对标准

    精度:(或阳性预测值)
    预测阳性的实际阳性比例
    TP /(TP + FP)
    召回率:预测阳性的实际阳性比例
    TP /(TP + FN)

    敏感性:预测为阳性的实际阳性比例
    TP / (TP + FN)
    特异性:预测为阴性的实际阴性比例
    TN / (TN + FP)
    真阳性率:预测为阳性的实际阳性比例
    TP / (TP + FN)
    真阴性率:预测为阴性的实际阴性比例
    TN / (TN + FP)
    阳性可能性:预测阳性是实际阳性的可能性
    敏感性/(1 - 特异性)
    阴性可能性:预测阴性的可能性实际阴性
    (1 - 敏感性)/特异性

  • 综合标准

    BCR:平衡分类率
    ½ (TP / (TP + FN) + TN / (TN + FP))
    BER:平衡错误率,或 HTER
    半总错误率:1 - BCR
    F-测量精度和召回率之间的调和平均值
    2 (精度.召回率)/(精度+召回率)
    Fβ-测量精度和召回率之间的加权调和平均值
    (1+β)2 TP /((1+β)2 TP + β2 FN + FP)

    特异性和灵敏度之间的调和平均值也经常被使用,有时也称为 F-measure。

  • 尤登指数:算术平均值

    敏感性和特异性之间
    的 敏感性 - (1 - 特异性)
    Matthews 相关性:实际和预测之间的相关性
    (TP . TN – FP . FN) / ((TP+FP) (TP+FN) (TP + FP) (TN+FN )) ^ (1/2)
    包含在 -1 和 1 之间 判别幂归一化似然指数 sqrt(3) / π 。(log (敏感性 / (1 – 特异性)) + log (特异性 / (1 - 敏感性))) <1 = 差,>3 = 好,否则一般

你可以在这里找到更多这里也有一些解释,你可以从这里找到有用的代码片段

简短答案:贝叶斯成本/收益计算直接将“有用性”与使用指标评估模型联系起来。因此,它们是唯一真正有用的指标(并且数量不计其数)。

对于分类,对每个类流行度(相对类平衡/不平衡)使用贝叶斯先验估计,将随机混淆矩阵转换为分类结果的无条件概率估计,包括错误和正确分类。将该矩阵的每个项乘以成本/收益矩阵中的相应项并将它们全部相加;然后在比较分类算法时最大化收益/最小化成本。

对于回归,选择一个点估计器(向量),它通过变分微积分最小化贝叶斯损失函数。例如,如果您的损失是二次的,则使用后验均值;如果是倒三角形,则使用中位数;如果是 Dirac delta 损失,则使用众数。请注意,我从未使用变分法推导出任何此类点估计器;我完全忘记了 ET Jaynes文本 概率论:科学的逻辑。