说我有结果变量和预测器和对于一些数据点. 维基百科说模型在以下情况下是线性的:
响应变量的平均值是参数(回归系数)和预测变量的线性组合。
我认为这意味着模型不会比以下更复杂:. 但是,经过进一步阅读,我发现您可以处理预测变量的非线性“交互”,例如通过查看作为另一个预测器(恰好取决于和)。这似乎意味着您可以使用预测变量的任何(线性或非线性)函数,例如管他呢。从概念上讲,这种类型的“重新编码”似乎也应该适用于系数。
那么:如果您可以进行这种操作,那么线性回归的限制究竟是什么?
说我有结果变量和预测器和对于一些数据点. 维基百科说模型在以下情况下是线性的:
响应变量的平均值是参数(回归系数)和预测变量的线性组合。
我认为这意味着模型不会比以下更复杂:. 但是,经过进一步阅读,我发现您可以处理预测变量的非线性“交互”,例如通过查看作为另一个预测器(恰好取决于和)。这似乎意味着您可以使用预测变量的任何(线性或非线性)函数,例如管他呢。从概念上讲,这种类型的“重新编码”似乎也应该适用于系数。
那么:如果您可以进行这种操作,那么线性回归的限制究竟是什么?
参数需要线性地进入方程。所以像没有资格。但是您可以按如下方式获取自变量的函数:
例如。
所以线性回归的极限是:值的形式是参数时间(自变量)+参数时间(更多自变量)......等等。
(几乎)一切都可以表示为线性模型,如果您不将其限制为有限数量的参数。
这是功能分析和内核回归的基础(如在带有内核的 SVM 中)。例如,傅里叶级数——你可以产生一个无限的正弦/余弦级数,其中每个频率的波的幅度得到一个学习系数,你可以学习(几乎)任何函数(任何平方可积的函数——这是一个非常弱的条件)。
内核机器和功能分析是一个绝妙的主意,让世界看起来非常美丽——几乎所有东西都是线性的!
见http://en.wikipedia.org/wiki/Kernel_methods
经典的统计概率参考是 Grace Wahba 的观测数据样条模型。