机器算法验证 - 随机线性模型的概念 - 吾爱随笔录

随机线性模型的概念

机器算法验证随机生成线性模型

2022-03-29 02:25:37

我想比较几种变量选择的方法。我想用模拟来做。我知道它不会成为问题“哪种方法是最好的？”的最终答案，但我只是在寻找一些提示。为了进行这样的模拟，我需要一种方法来绘制“随机线性模型”。是否有任何公认的绘制“随机线性模型”的算法？被广泛接受是指例如在一些科学论文中使用的方法。

我在考虑以下简单的方法：
1）选择 $n$ 和 $k$ ，它表示观察数和变量数。
2) 生成随机矩阵 $X$ 通过使用均匀分布绘制每个元素 $(0,1)$ .
3）使用均匀分布生成参数 $(0,1)$ .
4) 使用正态分布生成残差 $(0,\sigma^2)$ 对于一些固定和任意选择 $\sigma^2$
5) 计算 $Y=X\beta + \epsilon$

2个回答

您概述的方法的一个问题是回归变量 $x_i$ 将（平均）是不相关的，变量选择方法有困难的一种情况是高度相关的回归量。

我不确定“随机”线性模型的概念在这里是否非常有用，因为您必须决定模型空间上的概率分布，这似乎是任意的。我宁愿把它当作一个实验，并应用好的实验设计的原则。

后记：这是一份参考资料，但我相信还有其他参考资料：
Andrea Burton、Douglas G. Altman、Patrick Royston 和 Roger L. Holder。医学统计学中模拟研究的设计。医学统计学 25 (24):4279-4292, 2006. DOI:10.1002/sim.2673

另见这封相关信函：
Hakan Demirtas。医学统计学 26 (20):3818-3821, 2007. DOI:10.1002/sim.2876

刚刚找到一个关于类似主题的评论：
G. Maldonado 和 S. Greenland。批判性地解释模拟研究的重要性。流行病学 8 (4):453-456, 1997. http://www.jstor.org/stable/3702591

要解决 @onestop 对非相关回归量的反对意见，您可以执行以下操作：

选择 $n, k, l$ ，在哪里 $l$ 是潜在因素的数量。
选择 $\sigma_i$ ，回归变量中的“异质”波动量。
画一个 $k \times l$ 矩阵， $F$ , 曝光, 均匀地 $(0,1)$ . （您可能希望标准化为跨行的总和 1 $F$ .)
画一个 $n \times l$ 矩阵， $W$ ，作为标准正态的潜在回归量。
让 $X = W F^\top + \sigma_i E$ 成为回归者，其中 $E$ 是一个 $n\times k$ 从标准法线绘制的矩阵。
像以前一样进行：绘制 $k$ 向量 $\beta$ 一致地 $(0,1)$ .
画 $n$ 向量 $\epsilon$ 作为具有方差的正常 $\sigma^2$ .
让 $y = X\beta + \epsilon$ .

其它你可能感兴趣的问题

上一篇百分比是否应该用小数位报告？下一篇随机时间序列组件的“系统”部分？