机器算法验证 - 线性和非线性模型的区别 - 吾爱随笔录

线性和非线性模型的区别

机器算法验证线性模型非线性回归非线性

2022-02-15 17:17:47

我已经阅读了一些关于线性与非线性模型属性的解释，但有时我仍然不确定手头的模型是线性模型还是非线性模型。例如，以下模型是线性的还是非线性的？

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

和：

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

其中 $b(k;\theta)$ 表示（一个衰减的）指数阿尔蒙多项式函数，其形式为：

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

在我看来，我的主要方程（第一个）关于 $X_t$ 是线性的，因为这个项只是乘以一个权重。但我会说加权函数（最后一个方程）关于参数 $\theta_1$ 和 $\theta_2$ 是非线性的。

有人可以向我解释我的主要函数是线性函数还是非线性函数，这对估计过程意味着什么 - 我必须应用线性或非线性最小二乘法吗？此外，我可以明确识别函数是非线性函数还是线性函数的可辨别特征是什么？

4个回答

对于建模的线性和非线性的通常定义，关键方面不是关于预测变量的线性，而是关于参数的线性。非线性模型是非线性的，因为它的参数不是线性的。

例如，这里的第一句话说：

在统计学中，非线性回归是一种回归分析形式，其中观察数据由一个函数建模，该函数是模型参数的非线性组合，并且取决于一个或多个自变量。

相比之下，广义线性模型通常在响应和预测变量之间具有非线性关系，但链接变换的平均响应（线性预测变量,）在参数中是线性的。 $\eta$

[根据该定义，我相信您的模型在中是非线性的，但如果，则该非线性与估计无关。如果它们被拟合，则模型是非线性的。] $\theta$ $\theta$

我同意 Glen_b 的观点。在回归问题中，主要关注的是参数，而不是自变量或预测变量 x。然后人们可以决定是否要使用简单的转换来线性化问题或继续处理它。

线性问题：统计你的问题中的参数个数，并检查它们是否都具有 1 的幂。例如，。该函数在中是非线性的。但对于回归问题，中的非线性不是问题。必须检查参数是线性的还是线性的。在这种情况下，，，，..都具有 1 的幂。因此，它们是线性的。 $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

请注意，在中，虽然 a 看起来像它的幂 1，但是当展开时。您可以清楚地看到它是一个非线性参数，因为 a 的幂大于 1。但是，这个问题可以通过调用对数变换来线性化。即，将非线性回归问题转换为线性回归问题。 $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

类似地，是一个逻辑函数。它有三个参数，分别、和。参数和的幂大于 1，展开后它们与每个参数相乘其他带来非线性。因此，它们不是线性的。但是，它们也可以使用适当的替换进行线性化，方法是首先设置，然后在两侧调用对数函数进行线性化。 $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

现在假设。这又是关于参数的非线性。但是，它不能被线性化。需要使用非线性回归。 $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

原则上，使用线性策略来解决非线性回归问题并不是一个好主意。因此，使用线性回归解决线性问题（当所有参数的幂为 1 时），如果您的参数是非线性的，则采用非线性回归。

在您的情况下，将加权函数替换回主函数中。参数将是唯一具有 1 次幂的参数。所有其他参数都是非线性的（最终乘以和（这两个是非线性参数）使其也是非线性的。因此，这是一个非线性回归问题. $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

采用非线性最小二乘技术来解决它。巧妙地选择初始值并使用多开始方法来找到全局最小值。

这个视频会很有帮助（虽然它没有谈论全球解决方案）：http ://www.youtube.com/watch?v=3Fd4ukzkxps

在 Excel 电子表格中使用 GRG 非线性求解器（通过转到选项 - 加载项 - Excel 加载项，然后选择求解器加载项来安装求解器工具包）并通过为参数指定间隔和要求来调用选项列表中的多启动约束精度和收敛性较小，可以获得全局解。

如果您使用的是 Matlab，请使用全局优化工具箱。它具有多启动和全局搜索选项。某些代码可在此处获取全局解决方案，此处和此处。

如果您使用 Mathematica，请看这里。

如果您使用的是 R，请在此处尝试。

主要功能是线性的。

<== 是否出现在方程中并不重要。 $B(L;\theta)$

如果我是你，我会继续使用线性最小二乘法。

这是您确认或否认线性的方式：

https://en.wikipedia.org/wiki/Non-linear#Definition

你可能还喜欢：

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(数学)

如果我在函数的上下文中解释它，它将很容易理解。

线性：具有恒定斜率的函数。代数上，最高指数等于 1 的多项式。它是一个函数，其图形是一条线。例如，y=2x+3

非线性：具有与线性函数相反的性质的函数。具有变化斜率的函数。它是指数等于或大于 2 的多项式。它的图表不是一条线。例如，y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]

其它你可能感兴趣的问题

上一篇如何测试两个（非正态）分布是否不同？下一篇评估时间序列的可预测性