我应该将量化输出的问题建模为分类还是回归?

人工智能 分类 楷模 回归
2021-10-19 12:01:36

假设我有一些我正在尝试学习的数据,并且我知道输出以某种方式被量化,例如我只能在有限范围内获得离散值(0.1、0.2、0.3...0.9)。

您会将其视为回归还是分类?在这种情况下,数字确实相互关联,例如 0.3 在含义上接近 0.4。

我可以将其视为具有 N 个输出的 softmax 最终层的分类,或者可以将其视为具有单个输出的线性层的回归,然后以某种方式量化预测后的结果。但我的直觉是,在我的模型中应该以某种方式使用的答案数量有限?

1个回答

所以这被认为是Ordinal Regression有很多方法可以对此类数据进行建模,通常采用某种形式的回归设置。我不推荐 softmax 路由,因为正如您所提到的,存在与输出的预构建相关性。

解决此问题的一些常见方法
(请注意,由于您提出问题的方式,我假设您正在寻找可以通过梯度技术优化的方法)

  1. 将其视为正常回归量,您将输出剪辑到您的范围,然后任意定义阈值,例如.36.4,.34.3, 等等..
  2. 使用有界激活函数然后缩放(如果您的输出是 [0,1,.1],您可以使用 sigmoid 并仅缩放 1 倍,但如果 [0,10,1],您可以使用 sigmoid 和缩放由 10. 再一次,您需要在每 2 个点之间创建任意阈值以进行推理(这也可以纳入您的损失中)
  3. 使用上述两种方法,但学习每 2 个有序点之间的阈值。有一个输出层可以学习推理的理想阈值

如果你不想使用神经网络,这些方法中的每一种都有一个同样有效的贝叶斯模拟!