我正在使用来自mlpy的监督分类算法将事物分为两组,用于问答系统。我真的不知道这些算法是如何工作的,但它们似乎在模糊地做我想要的。
我想从分类器中获得一些信心。我可以从分类器中获得“实值预测”。这些似乎是我称之为链接函数的值。这是我系统的一些示例输出。
Predictions as to whether an answer is correct
for random data from various models
Results for one run
----------------------------------------------
Model Result Confidence? ("Real value")
----- ------ ---------------------------------
SVM [True, 0.10396502611075412]
FDA [True, 3.3052963597375227]
SRDA [False, 0.34205901959526142]
PDA [True, 3.8857018468328794]
----------------------------------------------
Results for another run
----------------------------------------------
Model Result Confidence? ("Real value")
----- ------ ---------------------------------
SVM [False, -0.0059697528841203369]
FDA [False, -0.15660355802446979]
SRDA [False, 1.2465697042600801]
PDA [True, 0.23122963338708608]
----------------------------------------------
对于分类为“真”的真实值通常更积极,而对于分类为“假”的真实值更消极,但链接比这更复杂一些。我可以将这些真实值转化为信心指标吗?如果是这样,怎么做?
我正在使用以下分类器。
- 支持向量机 (SVM)
- K 最近邻 (KNN)
- Fisher 判别分析 (FDA)
- 谱回归判别分析 (SRDA)
- 惩罚判别分析 (PDA)
- 对角线性判别分析 (DLDA)
更新:更多地考虑了这一点,意识到我实际上只需要信心的等级。具有最高实际值的答案是否是最有把握地归入 True 组的答案?我仍然想更好地理解这一点,但在短期内回答这个问题会很好。