机器算法验证 - Softmax 回归或二元逻辑回归ķK - 吾爱随笔录

Softmax 回归或二元逻辑回归ķK

机器算法验证机器学习物流分类多级

2022-03-27 10:08:17

对于多类分类问题，我们可以使用个二元逻辑分类器，或者一个 softmax 回归分类器，那么如何在两者之间做出选择呢？ $K$

恕我直言，二元逻辑分类器只是多类的1-vs-all方案，但 softmax 分类器本质上处理多类问题。为什么我应该更喜欢一个而不是另一个？ $K$

1个回答

softmax 函数为每个可能的类提供适当的概率：

P (y = j | x, {w_{k}}_{k = 1... K}) = \frac{e^{x^{⊤} w_{j}}}{\sum_{k = 1}^{K} e^{x^{⊤} w_{k}}}

$P(y=j|x,\{w_k\}_{k=1...K}) = \frac{e^{x^\top w_j}}{\sum_{k=1}^K e^{x^\top w_k}}$

如果您想在概率设置中解释分类问题，这很好。使用概率公式的好处包括能够将先验放在参数上并获得类的后验分布。

也就是说，也许你可以想象一个不是这种形式的非常好的分类器。也许它是一种通常难以表达的形式（例如，SVM——这里是多类细节）。如果某些如此复杂的分类器在给定任务上对您很有效，那么您可能不想使用 [可能较弱的] softmax 分类器。在这样的设置中，可能没有一个清晰的全路输出，因此您必须满足于重复的一对一分类方案。

还有一个对立点……您还可以通过将输入更改为指数来增强 softmax 样式方法的表达能力。例如，将每个线性分量替换为二次表达式会很简单。其他这样的增强是可以想象的。 $x^\top w_j$ $x^\top w_j + x^\top A_j x$

其它你可能感兴趣的问题

上一篇具有可重复分析的好论文，只需要基础知识下一篇转换率测试的适当点击次数