3维中的多元线性回归是最佳拟合平面还是最佳拟合线?

机器算法验证 多重回归 高维
2022-03-13 04:38:31

我们的教授没有进入多元线性回归的数学甚至几何表示,这让我有点困惑。

一方面,它仍然被称为多元线性回归,即使在更高的维度上也是如此。另一方面,如果我们有例如插入我们想要的任何值,这不会给我们一个可能的解决方案平面而不是一条线?Y^=b0+b1X1+b2X2X1X2

一般来说,我们的预测表面不就是 k 个自变量的平面吗?kk

2个回答

你是对的,解决方案表面通常是一个超平面。只是hyperplane这个词一口,plane更短,line更短。随着您继续进行数学运算,一维情况的讨论越来越少,因此权衡

Big words for high dimensional, Small words for small dimensional

开始向后看。

例如,当我看到像这样的方程时,其中是矩阵,是向量,我称之为线性方程在我生命的早期,我称之为线性方程组,为一维情况保留线性方程。但后来我发现一维情况并不经常出现,而多维情况无处不在。Ax=bAx,b

这也发生在符号上。见过有人写

fx=2x

左边的那个符号是一个函数的名字,所以为了正式和迂腐,你应该写

fx(x)=2x

在多维中情况会变得更糟,当导数有两个参数时,一个是你在哪里取导数,另一个是你在哪个方向评估导数,看起来像

xf(v)

但是人们很快就会变得懒惰,并开始放弃一个或另一个论点,让他们根据上下文来理解。

专业的数学家,口齿不清,把这种符号的滥用称为。在某些学科中,如果不滥用符号,基本上是不可能表达自己的,我心爱的微分几何就是一个很好的例子。伟大的尼古拉斯·布尔巴基非常雄辩地表达了这一点

我们尽可能在文本中提请注意语言的滥用,否则任何数学文本都有学究气的风险,更不用说不可读了。

——布尔巴基(1988)

你甚至评论了我在上面没有注意到的滥用符号!

从技术上讲,由于您将 df/dx 写为偏导数,即使其他隐含变量保持不变,偏导数在技术上是否仍然是原始函数的所有变量的函数,如 df/dx ( x, y, ...)?

您是完全正确的,这很好地(无意地)说明了我在这里的意思。

我在日常工作和学习中很少遇到真正单变量意义上的导数,以至于我基本上忘记了是这里的正确表示法。我打算将上述内容与一个变量函数有关,但我使用时无意识地发出了其他信号。dfdx

我猜我认为它是当我们说“无限和”而不是“当项数接近无限时总和的限制”。我的想法是,只要概念上的差异清楚就可以了。在这种情况下(多元回归),我并不确定我们首先在谈论什么。

是的,这是一种一致的思考方式。唯一真正的区别是我们有这样一种常见的情况,我们发明了额外的(*) 符号和术语(和“无限和”)来表达它。在其他情况下,我们概括一个概念,然后这个概括的概念变得如此普遍,以至于我们为概括的概念重用旧的符号或术语。Σ

作为懒惰的人,我们希望在常见情况下节约用词。

(*) 从历史上看,这不是无限和的发展方式。当数学家开始遇到需要非常精确地推理的情况时,部分和定义的极限是后验发展的。

“线性”并不完全意味着你认为它在这种情况下的作用——它更笼统一些

首先,它实际上并不是对 x 中的线性度的引用,而是对参数*(“参数中的线性”)的引用。

其次,线性代数意义上的线性函数本质上是一个线性映射;空间中的线性函数。E(Y|X)=Xββ

因此,最佳拟合的平面(或更一般的超平面)仍然是“线性回归”。

的常量列视为坐标向量的一部分,那么在提供的 x 中它将是线性的(或者或者将其视为具有附加坐标归一化的齐次坐标)。或者你可以说中都是线性的1XβXβ