特征交互及其应用?

机器算法验证 机器学习 特征选择 相互作用 重要性
2022-03-16 22:58:41

什么是特征交互

特征交互是否用于特征选择或特征生成?

2个回答

功能交互似乎只是普通旧交互的新(机器学习?)术语。因此,该站点上已经有很多帖子,请参阅此列表

引用自 OP 的链接:

5.4 特征交互 当特征在预测模型中相互作用时,预测不能表示为特征影响的总和,因为一个特征的影响取决于另一个特征的值。亚里士多德的谓词“整体大于部分之和”适用于存在相互作用的情况。

5.4.1 特征交互?如果机器学习模型基于两个特征进行预测,我们可以将预测分解为四个项:常数项、第一个特征项、第二个特征项和两个特征之间的交互项。两个特征之间的交互作用是在考虑个体特征效应后通过改变特征而发生的预测变化。

我想有点迂腐,把上面的最后一句话改一下:

两个特征之间的交互是通过在考虑单个特征效应的同时改变特征而发生的预测变化。

考虑交互的另一种方式是,当一个特征的效果取决于另一个特征的值时,它就会发生。请注意,交互是考虑通用模型的自然结果:

Y=f(x,Z)

其中是连续解释变量(特征)的矩阵,是随机变量,我们可以将其视为正态分布在零附近,但并非必须如此。如果我们围绕展开它,我们得到一个二阶泰勒级数:xZx0

Yβ0+i=1pβi(xixi0)+i=1pj=1pβij(xixi0)(xjxj0)+(σ+i=1pγi(xixi0))Z+σZ2

其中第三项包含两个线性项的叉积 - 这是交互作用。

特征交互是否用于特征选择或特征生成?

我将交互视为特征生成,它们是对自然形式的非线性建模的一种非常有用的方法。

编辑:当然,一旦您生成了交互特征,就会出现是否将其包含在模型中的问题,这就是特征选择发挥作用的地方。