多项式和有序逻辑回归之间有什么区别?

机器算法验证 回归 物流 多项分布 有序的logit
2022-03-11 16:03:21

有人可以用一个简单的例子来解释它!

1个回答

在多项式的情况下,没有内在的排序;相反,在序数回归的情况下,级别之间存在关联。例如,如果您检查具有作为独立级别编码一个多项式变量。如果您有一个新变量是 levels 并且代表某种增加的紧迫性,那么它们将定义一个序数变量。V1greenyellowredV1V2greenyellowred

那么这些变量将如何编码:

在多项式变量的情况下,该变量被编码为指示矩阵。can be can bered任意编码。在序数变量的情况下,编码有点不同。如果您处于该级别,则假定您已达到并超过该级别。类似地,如果你在那个层次中,你已经达到了层次,现在你在层次中。因此,该值的编码类似于. 对于对于green[1 0 0]yellow[0 1 0][0 0 1]yellowgreenredgreenyellowredgreen[1 0 0]yellow[1 1 0]red[1 1 1]

所以对于具有 7 个样本的多项式看起来像:V1

V1=(001001010100100100010)

而具有 7 个样本的序数看起来像:V2

V2=(111111110100100100110)

请注意,在这两种情况下,您都在编码相同的信息。red, red, yellow, green, green, green, yellow. 之间的差异现在很明显,如果您尝试在中拟合模型,该模型几乎肯定无法预测这些模型的估计程序实际上并没有太大的不同。在不详细说明的情况下,它们都依赖于数值优化,其中广泛使用了一种称为Fisher 评分的方法。V1V2V1V2

现在让我们看一个使用 R 的实际示例。我们定义一个多项式变量V1,然后使用它来定义序数变量V2对于现实生活中的设置,我们只有不相关的信息,这些信息被编码在GarbageInfo. (我使用包中的函数multinomnnet拟合多项式,使用包中的函数polrMASS拟合有序 logit,您可以直接从这些函数的文档中获取更多信息。)

set.seed(1234);
N = 100;
V1 = sample(c('green','yellow','red'), N, replace = TRUE)
V2 = ordered(V1, c('green', 'yellow', 'red'))
GarbageInfo = runif(N); # This is used only for illustration purposes
m1 = nnet::multinom(V1 ~ GarbageInfo)
m2 = MASS::polr(V2 ~ GarbageInfo)

然后我们检查模型摘要并注意到非常有趣。

> summary(m1)
Call: nnet::multinom(formula = V1 ~ GarbageInfo)

Coefficients:
       (Intercept) GarbageInfo
red     -0.6011338  -0.1331142
yellow  -0.3221203  -0.5995860

Std. Errors:
       (Intercept) GarbageInfo
red      0.5164521   0.8448432
yellow   0.4932972   0.8380932
...


> summary(m2)
...
Call: MASS::polr(formula = V2 ~ GarbageInfo)

Coefficients:
              Value Std. Error t value
GarbageInfo -0.2181     0.6431 -0.3391

Intercepts:
             Value   Std. Error t value
green|yellow -0.1541  0.3910    -0.3941
yellow|red    0.9856  0.4045     2.4364
...

虽然在m1您的截距是针对redyellow针对green基线定义的情况下,截距m2定义为green|yellowand yellow|red,即。它们是切点而不是简单的截取。此外,您的可变GarbageInfo系数m2在序数回归的情况下贯穿整个模型,而不是在多项式的情况下为每个级别独立估计。那是因为您利用了这样一个事实,即您的数据包含更多信息,并且(在这种情况下)您拥有额外的自由度。这让我们回到这篇文章的第一句话:多项式和有序变量(以及它们各自的)回归过程是不同的,因为它们编码不同的信息。