决策树 - 非常稀疏特征的预处理

数据挖掘 决策树 预处理
2022-03-05 22:47:59

我们如何为决策树的非常稀疏的特征预处理数据?

来自决策树的这个Turi 文档

它提到了这一点:

为什么选择决策树?不同类型的模型有不同的优势。决策树模型非常擅长处理具有数值特征的表格数据,或少于数百个类别的分类特征。与线性模型不同,决策树能够捕获特征和目标之间的非线性交互。

一个重要的注意事项是,基于树的模型不是为处理非常稀疏的特征而设计的。在处理稀疏输入数据(例如大维度的分类特征)时,我们既可以对稀疏特征进行预处理以生成数值统计,也可以切换到更适合此类场景的线性模型。

如果我们有一个非常稀疏的分类列(许多 0),那么对于该类别,我们可以为每一行转换什么类型的数字统计信息?

1个回答

稀疏分类数据有许多特征工程选项。几个常见的选项:

  • 删除特征 - 删除稀疏的列
  • 特征缩减——一个例子是奇异值分解(SVD)
  • 减少类别数量 - 使用领域知识,将相关的低频类别组合在一起
  • 使用稀疏表示- 仅存储非零元素