机器算法验证 - 将多元线性模型转换为多元回归 - 吾爱随笔录

将多元线性模型转换为多元回归

机器算法验证回归多重回归线性模型多元回归

2022-01-18 03:57:25

将多元线性回归模型重铸为多元线性回归完全等效吗？我不是指简单地运行单独的回归。 $t$

我已经在几个地方（贝叶斯数据分析——Gelman 等人，以及多元老派——Marden）读到，多元线性模型可以很容易地重新参数化为多元回归。然而，这两个消息来源都没有详细说明这一点。他们基本上只是提到它，然后继续使用多元模型。在数学上，我会先写多变量版本，

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$ 其中粗体变量是其大小低于它们的矩阵。像往常一样，是数据，是设计矩阵，是正态分布的残差，是我们感兴趣的推理对象。

Y

$\mathbf{Y}$

X

$\mathbf{X}$

R

$\mathbf{R}$

B

$\mathbf{B}$

要将其重新参数化为熟悉的多元线性回归，只需将变量重写为：

\underset{n t \times 1}{y} = \underset{n t \times n k}{D} \underset{n k \times 1}{β} + \underset{n t \times 1}{r},

$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$

其中使用的重新参数化是 $\mathbf{y} = row(\mathbf{Y})$ ， $\boldsymbol\beta = row(\mathbf{B})$ 和 $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ 。 $row()$ 表示矩阵的行首尾相连排列成一个长向量， $\otimes$ 是克罗内克或外积。

那么，如果这很容易，为什么还要写关于多元模型的书籍，为它们测试统计数据等等？最有效的方法是先转换变量并使用常见的单变量技术。我确信有一个很好的理由，我只是很难想到一个，至少在线性模型的情况下。多元线性模型和正态分布的随机误差是否存在这种重新参数化不适用的情况，或者限制了您可以进行的分析的可能性？

资料来源：Marden - Multivariate Statistics：Old School。请参阅第 5.3 - 5.5 节。该书可从以下网址免费获得：http: //istics.net/stat/

格尔曼等人。- 贝叶斯数据分析。我有第二版，在这个版本中，Ch 中有一小段。19 个“多元回归模型”，标题为：“等效单变量回归模型”

基本上，你能用等价的线性单变量回归模型做所有事情吗？如果是这样，为什么要开发多元线性模型的方法呢？

贝叶斯方法呢？

2个回答

基本上，你能用等价的线性单变量回归模型做所有事情吗？

我相信答案是否定的。

如果您的目标只是估计效果（中的参数）或基于模型进一步做出预测，那么在两者之间采用哪种模型公式并不重要。 $\mathbf{B}$

然而，为了进行统计推断，特别是为了执行经典的显着性检验，多元公式似乎实际上是不可替代的。更具体地说，让我以心理学中的典型数据分析为例。来自受试者的数据表示为 $n$

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$

其中个主体间解释变量（因子或/和定量协变量）被编码为中的列，而个重复测量（或主体内）因子水平表示为联立变量或中的列。 $k-1$ $\mathbf{X}$ $t$ $\mathbf{Y}$

使用上述公式，任何一般线性假设都可以很容易地表示为

L B M = C,

$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$

其中由被试间解释变量之间的权重组成，而包含重复测量因子的水平之间的权重，是一个常数矩阵，通常是。 $\mathbf{L}$ $\mathbf{L}$ $\mathbf{C}$ $\mathbf{0}$

多元系统的美妙之处在于它区分了两种类型的变量，即主体间和主体内。正是这种分离允许在多元框架下轻松制定三种类型的显着性检验：经典多元检验、重复测量多变量检验和重复测量单变量检验。此外，球度违规的 Mauchly 检验和相应的校正方法（Greenhouse-Geisser 和 Huynh-Feldt）对于多变量系统中的单变量检验也很自然。这正是统计包实现这些测试的方式，例如R中的car 、IBM SPSS Statistics 中的GLM，以及 SAS的PROC GLM中的REPEATED 语句。

我不太确定公式在贝叶斯数据分析中是否重要，但我怀疑上述测试能力是否可以在单变量平台下制定和实施。

如果您拟合适当的方差-协方差结构，这两个模型是等效的。在转换后的线性模型中，我们需要将误差分量的方差-协方差矩阵与可用计算软件中有限的克罗内克积拟合。线性模型理论——单变量、多变量和混合模型是本主题的绝佳参考。

已编辑

这是免费提供的另一个不错的参考。

其它你可能感兴趣的问题

上一篇为什么我们假设误差是正态分布的？下一篇如何解释负 ACF（自相关函数）？