Platt的多标签分类缩放?

数据挖掘 机器学习 统计数据
2021-09-27 06:32:10

如何为多标签分类做 platt 的缩放?例如,如果我的 DNN 的最后一层是具有 10 个类的 soft-max 激活,那么 platt 的缩放究竟是如何工作的?

我是否使用一对多分类训练多个逻辑回归?或者,还有更好的方法?

1个回答

Platt 标度有一些多类变体。正如您所描述的,最简单的方法是;只需对每个类执行一次 Platt 缩放。

但是,还有更复杂的选项——一个非常简单的实现方法是在 logits(应用 softmax 激活之前的值)上训练标准逻辑回归。这称为矩阵缩放并且很容易过拟合,所以只有在你有一个大的校准集时才使用它。或者,称为矢量缩放的参数较少的版本实现起来相对简单,其中逻辑回归中的权重矩阵被限制为对角矩阵。最后,一个非常简单的选项已被证明适用于神经网络,即温度缩放,其中所有对数都简单地由单个标量参数缩放。

您可以在“On Calibration of Modern Neural Networks”(2017)的第 4.2 节中阅读有关这些及其在神经网络中的应用的更多信息 - 可在此处获得