人工智能 - 线性回归和非线性回归有什么区别？ - 吾爱随笔录 - 问答

线性回归和非线性回归有什么区别？

人工智能机器学习比较线性回归非线性回归

2021-10-27 07:25:45

在机器学习中，我知道线性回归假设方程中的参数或权重应该是线性的。例如：

y = w_{1} x_{1} + w_{2} x_{2}

$y = w_1x_1 + w_2x_2$

是一个线性方程，其中 $x_1$ 和 $x_2$ 是特征变量和 $w_1$ 和 $w_2$ 是参数。

还

y = w_{1} (x_{1})^{2} + w_{2} (x_{2})^{2}

$y = w_1(x_1)^2 + w_2(x_2)^2$

作为参数也是线性的 $w_1$ 和 $w_2$ 是线性的 $y$ .

现在，我读了一些文章，指出在等式中

y = \log (w_{1}) x_{1} + \log (w_{2}) x_{2}

$y = \log(w_1)x_1 + \log(w_2)x_2$

也可以通过考虑其他变量来线性化 $v_1$ 和 $v_2$ 作为：

\begin{aligned} v_{1} & = \log (w_{1}) \\ v_{2} & = \log (w_{2}) \end{aligned}

$\begin{align} v_1 &= \log(w_1)\\ v_2 &= \log(w_2) \end{align}$

因此，

y = v_{1} x_{1} + v_{2} x_{2}

$y = v_1x_1 + v_2x_2$

那么，从这个意义上说，任何非线性方程都可以变成线性的，那么这里的非线性回归是什么？我想我在这里遗漏了一些重要的东西。我是机器学习领域的初学者。有人可以帮助我吗？

1个回答

区别只是非线性回归学习以某种方式控制非线性的参数 - 例如，在非线性函数之前应用的任何权重或偏差。

例如：

y = (w_{1} x_{1} + w_{2} x_{2})^{2} + w_{3}

$y = (w_1 x_1 + w_2 x_2)^2 + w_3$

有了这样一个函数来学习，你不能分离出转换后的值 $w_1$ 和 $w_2$ 并把它变成一个线性函数 $x_1$ 和 $x_2$ .

相反，您在示例中描述为非线性的内容全部由机器学习工程师应用来创建线性回归的新候选特征。这通常不被描述为非线性回归，而是特征转换或特征工程。

还有一种中间地带，其中通过自动生成和过滤变换特征，对原始特征的许多变体训练中心线性算法，例如线性回归。这种方法最通用的变体并不是非常流行，因为它们与非线性模型一样存在过度拟合的风险，同时在提高性能方面没有提供太多帮助。但是，如果您根据您期望目标函数如何表现的一些知识来缩小特征和变换组合的类型，则会导致许多有用的线性回归变体——例如傅立叶变换回归、径向基函数等。

其它你可能感兴趣的问题

上一篇Sutton 和 Levine 的 REINFORCE 算法有什么区别？下一篇最适合用于路径规划的 AI 技术是什么？