决策树桩是线性模型吗?

机器算法验证 机器学习 大车 线性的 助推
2022-01-21 02:12:27

决策树桩是一棵只有一次分裂的决策树。它也可以写成分段函数。

例如,假设是一个向量,并且的第一个分量,在回归设置中,一些决策树桩可以是xx1x

f(x)={3x125x1>2

但它是线性模型吗?哪里可以写成这个问题可能听起来很奇怪,因为正如答案和评论中提到的,如果我们绘制分段函数,它不是一条线。请参阅下一节了解我问这个问题的原因。f(x)=βTx


编辑:

  • 我问这个问题的原因是逻辑回归是一个(广义)线性模型,决策边界是一条线,也用于决策树桩。注意,我们也有这个问题:为什么逻辑回归是一个线性模型?. 另一方面,决策树桩似乎不是线性模型。

在此处输入图像描述

这是一个使用 2 个特征和 1 个连续响应的回归决策树桩提升示例。

在此处输入图像描述

3个回答

不,除非您转换数据。

如果您使用指示函数 x

x=I({x>2})={0x21x>2

那么f(x)=2x+3=(32)T(1x)

编辑:评论中提到了这一点,但我也想在这里强调一下。将数据分成两部分的任何函数都可以转换为这种形式的线性模型,具有截距和单个输入(数据点位于分区的哪个“侧”的指示符)。重要的是要注意决策函数和决策边界之间的区别。

回答您的问题:

  1. 决策树桩不是线性模型。
  2. 即使模型不是线性的,决策边界也可以是一条线。逻辑回归就是一个例子。
  3. 提升模型不必是与基础学习器相同的模型。如果您考虑一下,您的提升示例,加上您链接到的问题,证明决策树桩不是线性模型。

此答案比仅回答问题所需的更详细。我希望能引起真正专家的一些评论。

我曾经在法庭上,法官问(在上下文中有充分的理由),如果我们称狗的尾巴为腿,那是否意味着狗有 5 条腿?那么什么是线性模型呢?

在统计学的背景下,一位专家告诉我,线性模型是指由一组函数构建的统计模型f1,f2,,fn形式的y=aifi重要的约束是误差项是独立的且正态分布的。使用该定义,不能说您的模型是否是线性的,因为您没有提供有关误差项的信息。如果放弃了误差项约束,那么它在您给出的函数或 ssdecontrol 给出的函数中是重言式线性的。无论多么天真,在这个问题的背景下,这可能并不令人满意。从这个意义上说,任何函数都可以被认为是线性的基础。那是因为任何函数空间都可以变成函数的向量空间。

如果您在鼻子上问,从数学上讲,如果您的函数是线性的,那么答案是否定的。线性函数是其图形为直线的函数,而显然您的函数不具有该属性。在回答你最后提出的问题时,可以找到β以便f(x)=βTx, 那就不要。

您提供的课程的任何功能都会满足f(x+y)=f(x)+f(y)对于任何(实)数xy. 请注意,您的功能满足f(1.5)=3f(3)=5, 所以f(3)f(1.5)+f(1.5)如果您的功能具有以下形式,则需要f(x)=βTx. 请注意,您为线性函数提出的类是通常称为线性函数的子类。