在约束下建立分类模型

数据挖掘 Python 逻辑回归
2022-03-01 17:35:24

假设我有 n 个特征(x1,x2,....,xn)(全部浮动)并想要分类y(0 或 1)

现在我有一个遗留的专家系统来进行分类。

专家系统规则:

分类所有xi

如果x1<1, 放x1=a11,

如果x1[1,10], 放x1=a12,

如果x1>10, 放x1=a13,

...

如果xn>100, 放xn=ank,

如果w1x1+...+wnxnz,然后预测y=1, 除此以外0

a11,a12,....ank,w1,...,wn,z是由直觉而不是计算决定的,我想改进专家系统。怎么做?逻辑回归不能简单地应用于这种情况......

1个回答

正如彼得所说,这正是逻辑回归可以直接解决的问题。但是,还有几件事要说。

原始变量上发生的分箱表明存在一些强烈的非线性。您可以进行一些单变量分析以找到合适的转换,但特别是您可以尝试分箱,可能使用证据权重评分和/或基于树的递归分区。

如果你想坚持保留分箱结构和x值,那么这只是使用这些转换后的预测变量进行的简单逻辑回归。

如果您坚持保留分箱结构而不是它们的x值,您可以再次使用 WOE 或对这些 bin 进行 one-hot 编码学习wixi乘积作为逻辑回归中编码变量的系数。

最后,当然,您几乎可以用您最喜欢的分类器替换我提到逻辑回归的任何时间。