在多项逻辑回归中,为什么决策边界往往彼此平行?

机器算法验证 物流 分类 多项分布
2022-04-12 19:39:25

我理解在多项逻辑回归中,对数几率概率是相对于参考组计算的。我想知道为什么这通常会导致彼此平行的线性决策边界。参考组和平行度之间有联系吗?谢谢!

1个回答

在多项逻辑回归中, 其中是可能的类标签, - 输入数据, - 系数类的向量。

p(k)=exβkiexβi
i,kxβii

给定类和基类,log-odds 计算为 kj

logp(k)p(j)=logexβkexβj=x(βkβj)

如果 ,即如果 ,则对象被分类为而不是最后一个不等式在中是线性的。这就是为什么逻辑回归的决策边界总是线性的。kjp(k)>p(j)x(βkβj)>0x

之间的决策边界的方向由下式确​​定kjβkβj. 如果元素βk远大于βj,这个方向主要由βk. 因此,如果有一个类k特别大β,所有决策边界都将由它支配,并且几乎是平行的。