机器算法验证 - ZCA白化中如何选择正则化参数？ - 吾爱随笔录 - 问答

ZCA白化中如何选择正则化参数？

机器算法验证主成分分析数据转换正则化

2022-04-09 01:14:39

ZCA 白化可以使用正则化，如

\tilde{X} = L \sqrt{(D + ϵ)^{- 1}} L^{- 1} X,

$\tilde{X} = L\sqrt{(D + \epsilon)^{-1}}L^{-1}X,$

其中是样本协方差矩阵的特征分解。有什么好的选择？ $LDL^\top$ $\epsilon$

进行非正则化 ZCA 白化： $X'$

\tilde{X^{'}} = L^{'} \sqrt{D^{' - 1}} L^{' - 1} X^{'}

$\tilde{X'} = L'\sqrt{D'^{-1}}L'^{-1}X'$

然后选择以最小化此类保留白化数据与使用使用训练数据开发的正则化 ZCA 美白的保留数据之间的差异： $\epsilon$

\tilde{Y} (ϵ) = L \sqrt{(D + ϵ)^{- 1}} L^{- 1} X^{'}

$\tilde{Y}(\epsilon) = L\sqrt{(D + \epsilon)^{-1}}L^{-1}X'$

ϵ^{*} = a r g m i n ‖ \tilde{Y} (ϵ) - \tilde{X^{'}} ‖

$\epsilon^* = \mathrm{argmin} \|\tilde{Y}(\epsilon) - \tilde{X'}\|$

我想知道是否有更简单或更原则的方法来选择 $\epsilon$ 或一般化 PCA/ZCA。

1个回答

如果数据是均值为且协方差未知并且我们在上放置一个逆维夏特先验，的后验期望为其中是数据点的数量，是数据的维度。选择和，例如，我们会得到 $0$ $\Sigma$ $\Sigma$

\begin{aligned} Σ & \sim W^{- 1} (Ψ, ν), \\ x & \sim N (0, Σ), \end{aligned}

$\begin{align} \Sigma &\sim \mathcal{W^{-1}}(\Psi, \nu), \\ x &\sim \mathcal{N}(0, \Sigma), \end{align}$

Σ

$\Sigma$

\frac{X X^{⊤} + Ψ}{n + ν - p - 1},

$\frac{XX^\top + \Psi}{n + \nu - p - 1},$

n

$n$

p

$p$

Ψ = I

$\Psi = I$

ν = p + 1

$\nu = p + 1$

\frac{X X^{⊤} + I}{n} = C + \frac{1}{n} I = L (D + \frac{1}{n} I) L^{⊤},

$\frac{XX^\top + I}{n} = C + \frac{1}{n}I = L\left(D + \frac{1}{n}I\right)L^\top,$ 其中。的明智选择可能是。

C = X X^{⊤} / n

$C = XX^\top/n$

ϵ

$\epsilon$

1 / n

$1/n$

您可以更进一步，使用正态逆Wishart先验正确估计协方差，即，也考虑均值的不确定性。后验的推导可以在(Murphy, 2007)中找到。

其它你可能感兴趣的问题

上一篇交叉验证在什么时候变得过度训练？下一篇GAM 与 GLM：相同的拟合，预测变量的不同意义