机器算法验证 - 贝叶斯层次广义线性模型上的特征选择 - 吾爱随笔录

我希望估计一个分层 GLM，但通过特征选择来确定哪些协变量在人口水平上是相关的。

假设我有 $G$ 团体与 $N$ 观察和 $K$ 可能的协变量也就是说，我有协变量的设计矩阵，结果。这些协变量的系数是。 $\boldsymbol{x}_{(N\cdot G) \times K}$ $\boldsymbol{y}_{(N\cdot G) \times 1}$ $\beta_{K \times 1}$

假设 ~ $Y$ $Bernoulli(p(x,\beta))$

以下是具有 logit 采样模型和正态分布组系数的标准分层贝叶斯 GLM。

L (y | x, β_{1}, . . . β_{G}) \propto \prod_{g = 1}^{G} \prod_{t = 1}^{N} {(Pr {j = 1 | p_{t}, β^{g}})}^{y_{g, t}} {(1 - Pr {j = 1 | p_{t}, β^{g}})}^{1 - y_{g, t}}

${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$

β_{1}, . . . β_{G} | μ, Σ \sim^{i i d} N_{d} (μ, Σ)

$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$

μ | Σ \sim N (μ_{0}, a^{- 1} Σ)

$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$

Σ \sim I W (v_{0}, V_{0}^{- 1})

$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$

我想修改这个模型（或找到一篇论文，或讨论它的工作），以便在 $\beta$ 的维度上有一些尖锐的特征选择（如在 LASSO 中）。

(1) 最简单最直接的方法是在总体水平上对其进行正则化，以便我们从本质上限制 $\mu$ 的维数，并且所有 $\beta$ 具有相同的维数。

(2) 更细致入微的模型会在组级别出现收缩，其中 $\beta$ 的维数取决于层次单位。

我有兴趣解决 1 和 2，但更重要的是 1。