我的机器学习模型需要有多准确?

数据挖掘 机器学习 预测建模 统计数据
2022-03-12 17:31:12

在值得投入生产之前,有什么方法可以预先确定模型应该有多准确?仅仅以尽可能高的准确度为目标并不能告诉我们公司使用 75% 和 80% 的模型可以节省多少资金。

假设我们需要预测机械故障的数量。如果全国平均水平是 100 次/年,但我们的公司是 125 次,我们的模型需要多准确(需要做出多少正确预测)才能使我们公司回到全国平均水平?

1个回答

应该满足您的准确度级别取决于您的客户对其的可靠性以及错误预测的成本矩阵。

他应该考虑导致生产延误的意外故障(模型召回率低)的成本以及过度/错误维护警报(模型精度低)的成本。如果您知道这些成本,则可以最小化考虑模型的精确召回和准确性的预期成本方程:

预期成本= p(真阳性)ד维护成本”+ p(假阳性)ד检查成本”+ p(真阴性)×0(不采取行动)+ p(假阴性)ד机械故障成本”