多元回归和OLS。如何选择最佳的“非线性”规范?

机器算法验证 多重回归 最小二乘
2022-04-09 18:34:06

假设我必须进行多重回归,例如:

Yi=β0+β1xi+β2wi+...+β3zi+ϵi

然后我对其进行 Ramsey RESET 测试,发现我的线性规范不好。处理非线性的最佳方法是什么?我知道我可以指定一个 log-log 模型、一个 log-lin 模型,或者在变量上添加一些幂,或者尝试交互效果。

通过阅读 Verbeek 和 Stock - Watson,我不明白的是:如何选择最佳的非线性规范?我应该尝试所有这些,然后看看 Akaike 的指数(或贝叶斯或 Hannan Quinn)吗?或者有没有办法了解哪个规范是最好的?

对不起,如果我不清楚,英语不是我的母语。

先感谢您!

2个回答

我最近非常迷恋广义加法建模来处理非线性。R 的mgcv包中的gam()函数使事情变得非常简单,因为它结合了自动广义交叉验证以避免过度拟合。

我从未听说过,gretl但 Mike 提出的极好gam建议的参数版本是使用加法回归,例如受限三次样条(自然样条)。R 和 Stata 使这很容易做到。使用回归样条(分段多项式),您几乎可以对任何相当平滑的关系进行建模,并且您仍然可以获得普通模型的所有优点(置信限、预测、公式等)。一个好的默认策略是计算样本大小和信噪比将支持的复杂性,将其转换为样条函数中的节点数(连接点),并在以后不尝试简化模型的情况下拟合这些函数。在 R 中想要

require(rms)
f <- ols(y ~ rcs(x1,4) + rcs(x2,4)) # 4 knots for x1,x2 at default locations

自然界中很少有关系是线性的,因此学习灵活的非线性建模很有用。