决策树是 到 的非线性X映射y。如果您采用任意函数并创建一棵树到其最大深度，这很容易看出。

例如：

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

当然，这是一个完全过拟合的树，不会一概而论。但它说明了为什么决策树是非线性映射。

最近我的一个朋友在面试中被问到决策树算法是线性算法还是非线性算法

决策树与神经网络等类似，是一种非线性分类器，一般用于对非线性可分数据进行分类。

即使考虑回归示例，决策树也是非线性的。

例如，线性回归线看起来有点像这样：

红点是数据点。

决策树回归图看起来像这样：

因此，显然决策树是非线性的

正如许多人指出的那样，回归/决策树是一种非线性模型。但是请注意，它是一个分段线性模型：在每个邻域（以非线性方式定义）中，它是线性的。实际上，模型只是一个局部常数。

在最简单的情况下看到这一点，一个变量，一个节点 $\theta$，树可以写成线性回归：

在哪里 $1(A)$ 是指示函数，如果事件 A 为真，则取值为 1，否则为 0。

决策树是非线性的。与线性回归不同，没有方程来表达自变量和因变量之间的关系。

前任：

线性回归 - 水果价格 = b0 + b1*新鲜度 + b2*尺寸

决策树 - 节点：成熟 - 是或否 | 新鲜 - 是或否 | 尺寸 - <5, >5 但 <10 和 >10 |

在第二种情况下，自变量和因变量之间没有线性关系。