机器算法验证 - 什么是非参数结构方程建模？ - 吾爱随笔录

什么是非参数结构方程建模？

机器算法验证非参数结构方程建模

2022-03-02 07:16:52

我一直在阅读 Judea Pearl 的一些作品，非常出色。在他的论文中，他建议“非参数 SEM（结构方程建模）”是一种从 DAG 估计关联的方法。他的著作表明，对我来说，人们一致认为这种方法存在或可能存在，但就目前而言，适合这种模型的方式是无关紧要的。我采用“非参数”位来区分该方法与“普通香草”SEM ala Muthen-Muthen 的 M-plus 或 R 的 lavaan 包，后者是参数化的，因为估计来自于最大化联合正态似然。

然而，假定或实施的方法与我非常相关。我想确切地知道我们如何或多或少地模拟复杂的高维结构方程。我理解的部分障碍是我不理解，计算上，SEM 是如何拟合的，除了（尽管常见的误解）它们不仅仅是回归模型的序列。

我知道有时“非参数”只是一个解释问题。例如，线性回归可以看作是非参数的，因为它简单地总结了一阶趋势，这是具有任何（可能是曲线）趋势的任何分布的两个变量之间的任何二元关系的内在总结。另一方面，如果兴趣在于确定两个变量之间的非线性关系，则惩罚样条可提供出色的非线性平滑。然而，SEM 并不关注平均差异，而是关注特征之间的协方差。

在可接受的方法中，什么是非线性 SEM？只是上述解释的问题吗？或者我们是否需要使用带有样条和惩罚的非线性建模？稳健的协方差呢？

1个回答

我有一种感觉，您正在寻找分段 SEM，正如我在过去参考 Pearl 时所提到的那样。它实际上是回归序列，使用一些图论将事物联系在一起。不过，也有典型 SEM 模型的无分布估计器（尽管它们实际上并不比具有稳健方差估计的 ML 更好）。

然而，最终，它确实取决于解释。“非参数 SEM”不是一个广泛使用的术语，不同的作者会以不同的方式使用它。

然而，假定或实施的方法与我非常相关。我想确切地知道我们如何或多或少地模拟复杂的高维结构方程。我理解的部分障碍是我不理解，计算上，SEM 是如何拟合的，除了（尽管常见的误解）它们不仅仅是回归模型的序列。

最大似然！我们构造一个分布函数 $f(X;\theta)$ 为数据，并将其最大化 $\theta$ . 在 SEM 中，这是联合自动完成的。但是，了解如何从边际/条件分布中做到这一点很有用：

假设我们有变量 $x$ , $z$ , $y$ . 我们希望为这些数据拟合一个中介模型。假设正态性，我们构造如下分布：

y_{∣ z, x} \sim N (α_{y} + β_{0} x + β_{1} z, σ_{y}^{2})

$y_{\mid z,x} \sim \mathcal{N}(\alpha_y + \beta_0x + \beta_1z, \sigma_y^2)$

z_{∣ x} \sim N (α_{z} + β_{2} x, σ_{z}^{2})

$z_{\mid x} \sim \mathcal{N}(\alpha_z+ \beta_2x, \sigma_z^2)$

x \sim N (α_{x}, σ_{x}^{2})

$x \sim \mathcal{N}(\alpha_x,\sigma_x^2)$

然后我们使用概率链规则将这些组合成一个分布，产生 $f(y,z,x;\theta)$ ，在哪里 $\theta$ 包括所有模型参数。这是我们的似然函数， $L(\theta;data)$ ，我们只是（或不那么简单）需要找到它的最大值。

使用 SEM，我们添加了一些假设，以便我们可以实际识别分布（例如，模型是递归的，这意味着与您认为的相反），并一次将所有关系指定为具有特定形式的矩阵方程。例如，使用 LISREL 模型：

$η = B η + Γ ξ + ζ$ $\eta = B\eta + \Gamma\xi + \zeta$
$y = Λ_{y} η + ϵ$ $y = \Lambda_y\eta + \epsilon$
$x = Λ_{x} ξ + δ$ $x = \Lambda_x\xi + \delta$

或者，用一句话来说：

潜在 DVs = (coefs * 潜在 DVs) + (coefs * 潜在 IVs) + 误差，
观察到的 DVs = (coefs * 潜在 DVs) + 误差，
观察到的 IV = (coefs * 潜在 IV) + 误差

有关构建这些矩阵的更多详细信息，请参阅此。或者，这稍微“更柔和”。现代软件通常用一些更易于阅读的形式为您构建这些矩阵，例如 lavaan 或 Mplus 的语法。

我们还可以使用其他方法（例如显然不依赖于分布的加权最小二乘法）使用相同的方程设置来估计参数。但是，如果您使用稳健的方差，这些方法实际上并不比最大似然更好。

在可接受的方法中，什么是非线性 SEM？

非线性 SEM 通常是指包含潜在相互作用或多项式效应的 SEM。此类模型可能更难以估计，并且大多数 SEM 程序不支持（Mplus 和 OpenMX 除外）。

只是上述解释的问题吗？

如前所述，是的。尽管如果存在这样的先例，这也是该术语通常如何使用的问题。

或者我们是否需要使用带有样条和惩罚的非线性建模？

不。

稳健的协方差呢？

具有稳健（协）方差估计的 ML 通常执行类似（甚至优于）“无分布”方法（例如 WLS）。其背后的想法是，即使您的模型指定错误，ML 估计也是一致的，前提是错误指定模型中的推理对象是真正感兴趣的对象。问题不在于估计，而在于方差。当模型指定错误时，我们通常估计方差的方式（简单地反转信息矩阵）会低估方差。为了解决这个问题，我们简单地将方差估计替换为一致的方差估计，例如来自自举或三明治估计的那些。

其它你可能感兴趣的问题

上一篇PAC 可学习性和 VC 维度的效用/意义是什么？下一篇方向向量的余弦矩/mgf？