我正在使用 CNN 在分析文本后预测代码。例如,我会写“我疯了”.. 模型会预测一些代码“X321”。这一切都基于CNN。
我想评估我的模型。我使用了 Fscore(召回率和精度)。你能告诉我更多的指标吗?
我正在使用 CNN 在分析文本后预测代码。例如,我会写“我疯了”.. 模型会预测一些代码“X321”。这一切都基于CNN。
我想评估我的模型。我使用了 Fscore(召回率和精度)。你能告诉我更多的指标吗?
对于模型评估,根据您的模型有不同的指标:
混淆矩阵
分类准确率:
(TP+TN)/(TP+TN+FP+FN)
错误率:
(FP+FN)/(TP+TN+FP+FN)
配对标准
精度:(或阳性预测值)
预测阳性的实际阳性比例
TP /(TP + FP)
召回率:预测阳性的实际阳性比例
TP /(TP + FN)
敏感性:预测为阳性的实际阳性比例
TP / (TP + FN)
特异性:预测为阴性的实际阴性比例
TN / (TN + FP)
真阳性率:预测为阳性的实际阳性比例
TP / (TP + FN)
真阴性率:预测为阴性的实际阴性比例
TN / (TN + FP)
阳性可能性:预测阳性是实际阳性的可能性
敏感性/(1 - 特异性)
阴性可能性:预测阴性的可能性实际阴性
(1 - 敏感性)/特异性
综合标准
BCR:平衡分类率
½ (TP / (TP + FN) + TN / (TN + FP))
BER:平衡错误率,或 HTER
半总错误率:1 - BCR
F-测量精度和召回率之间的调和平均值
2 (精度.召回率)/(精度+召回率)
Fβ-测量精度和召回率之间的加权调和平均值
(1+β)2 TP /((1+β)2 TP + β2 FN + FP)
特异性和灵敏度之间的调和平均值也经常被使用,有时也称为 F-measure。
尤登指数:算术平均值
敏感性和特异性之间
的
敏感性 - (1 - 特异性)
Matthews 相关性:实际和预测之间的相关性
(TP . TN – FP . FN) / ((TP+FP) (TP+FN) (TP + FP) (TN+FN )) ^ (1/2)
包含在 -1 和 1 之间 判别幂归一化似然指数 sqrt(3) / π 。(log (敏感性 / (1 – 特异性)) + log (特异性 / (1 - 敏感性))) <1 = 差,>3 = 好,否则一般
简短答案:贝叶斯成本/收益计算直接将“有用性”与使用指标评估模型联系起来。因此,它们是唯一真正有用的指标(并且数量不计其数)。
对于分类,对每个类流行度(相对类平衡/不平衡)使用贝叶斯先验估计,将随机混淆矩阵转换为分类结果的无条件概率估计,包括错误和正确分类。将该矩阵的每个项乘以成本/收益矩阵中的相应项并将它们全部相加;然后在比较分类算法时最大化收益/最小化成本。
对于回归,选择一个点估计器(向量),它通过变分微积分最小化贝叶斯损失函数。例如,如果您的损失是二次的,则使用后验均值;如果是倒三角形,则使用中位数;如果是 Dirac delta 损失,则使用众数。请注意,我从未使用变分法推导出任何此类点估计器;我完全忘记了 ET Jaynes文本 概率论:科学的逻辑。