假设我想训练一个深度神经网络来执行分类或回归，但我想知道预测的可信度。我怎么能做到这一点？
我的想法是计算每个训练数据的交叉熵，基于其在上述神经仪表中的预测性能。然后，我将训练第二个用于回归的神经网络，它将每个数据作为输入，并将交叉熵作为输出（一个输出节点）。然后，您将在实践中使用这两个网络——一个用于预测标签/值，另一个用于预测第一个网络的置信度。（......但是我是否需要第三个网络来预测第二个网络的置信度，等等......？！）
这是一个有效的想法吗？此外，它是常用的标准思想吗？如果没有，你有什么建议？
也许我误解了这个问题，但对于分类，在我看来，标准方法是为每个N类设置一个输出神经元。
那么输出值的N向量[0, 1]代表了输入属于每个类的概率，因此可以解释为你想要获得的“置信度”。
对于对 NN 预测置信度估计感兴趣的人，您可能希望查看Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning (Gal et al., 2016)。简而言之，它演示了网络预测与 dropout 在执行 dropout 的运行总体上的方差如何用于估计预测置信度。这种方法可以用于为分类或回归设计的网络。