预测另一个模型正确概率的模型

数据挖掘 机器学习 深度学习 神经网络 分类 图像分类
2022-03-10 01:38:43

问题:

给定一个用于图像分类神经网络1000类,目标是创建另一个模型,该模型将输出神经网络对特定输入图像给出正确预测的概率。

想法:

到目前为止,我的想法是:

  • 创建一个卷积网络并使用原始图像和一个标签对其进行训练,该标签指示第一个 NN 预测它是否正确。
  • 创建一个完全连接的网络,并使用第一个 NN的隐藏层/特征的输出而不是原始图像以及之前的标签对其进行训练。
  • 创建一个全连接网络,并使用第一个 NNsoftmax 层的 top-k输出和标签对其进行训练。

第一种方法的准确度为0.51, 第二0.58和最后一个0.79.

您能否建议另一种可以实现更高准确性的方法(或对上述方法进行修改)?

1个回答

这是机器翻译应用中称为质量估计(QE) 的问题(有一个关于它的常规共享任务)。目标是训练一个模型来预测 ML 系统的输出质量。

这种任务有一个重要的理论障碍:如果这样的 QE 模型能够完美预测,那么理论上可以通过尝试许多不同的模型/参数来为原始任务创建一个完美的模型,直到 QE 系统预示着高水平的质量。这实际上意味着 QE 模型只能与它试图估计的系统一样好,因为它主要依赖于相同的信息,否则系统显然是次优的。本质上,QE 系统能做的最好的事情就是确定正确预测特定输入图像的难度,但它不能确定地预测实际预测是否正确。