什么不能表示为线性模型?

机器算法验证 回归 线性模型
2022-03-31 09:28:32

说我有结果变量Yi和预测器Xi1Xi2对于一些数据点i. 维基百科说模型在以下情况下是线性的:

响应变量的平均值是参数(回归系数)和预测变量的线性组合。

认为这意味着模型不会比以下更复杂:Yi=β1Xi1+β2Xi2. 但是,经过进一步阅读,我发现您可以处理预测变量的非线性“交互”,例如Yi=β1Xi1+β2Xi2+β3Xi1 Xi2通过查看Xi1 Xi2作为另一个预测器(恰好取决于Xi1Xi2)。这似乎意味着您可以使用预测变量的任何(线性或非线性)函数,例如log(Xi1/Xi22)管他呢。从概念上讲,这种类型的“重新编码”似乎也应该适用于系数。

那么:如果您可以进行这种操作,那么线性回归的限制究竟是什么?

2个回答

参数需要线性地进入方程。所以像E(Y)=β1cos(β2xi+β3)没有资格。但是您可以按如下方式获取自变量的函数:

E(Y)=β0+β1Xi+β2X2+β3eXi

例如。

所以线性回归的极限是:Y值的形式是参数时间(自变量)+参数时间(更多自变量)......等等。

(几乎)一切都可以表示为线性模型,如果您不将其限制为有限数量的参数。

这是功能分析和内核回归的基础(如在带有内核的 SVM 中)。例如,傅里叶级数——你可以产生一个无限的正弦/余弦级数,其中每个频率的波的幅度得到一个学习系数,你可以学习(几乎)任何函数(任何平方可积的函数——这是一个非常弱的条件)。

内核机器和功能分析是一个绝妙的主意,让世界看起来非常美丽——几乎所有东西都是线性的!

http://en.wikipedia.org/wiki/Kernel_methods

经典的统计概率参考是 Grace Wahba 的观测数据样条模型