独立成分分析(ICA)中的非高斯性是什么意思?

机器算法验证 自习 正态分布 因子分析 无监督学习 独立成分分析
2022-04-06 06:18:23

ICA中的非高斯性是什么意思?为什么我们在 ICA 中使用?非高斯性如何成为 ICA 估计的重要和基本原则?

以下是我在一篇研究论文中找到的陈述。但我无法理解。请借助示例和数学方程式进行解释。

可以通过使线性信号变换尽可能非高斯来实现从它们的混合信号中分离独立信号。非高斯性是 ICA 估计中一个重要且必不可少的原则。

1个回答

首先,我们看一下中心极限定理,它基本上与任意分布的独立绘制变量的均值估计遵循高斯分布的趋势有关。这很重要,因为在现实世界的样本中,我们经常观察到的数据实际上是许多潜在因素的组合,并且基于中心极限定理,我们理解自变量的线性组合会产生一个本质上趋于高斯的聚合变量。

非自变量聚合可以保留非高斯分布,因为分布是链接的,但如果独立,那么它们的组合将趋于高斯(就像多个独立的公平骰子的总和趋于正态分布一样)。

我们想要用 ICA 实现的是分离出作为观测数据基础的自变量,即反转中心极限定理。由于自变量的线性组合比原始变量更具有高斯性,除非至少有一个是高斯的,否则需要使用非高斯性来识别基础变量。

因此,ICA 是建立在使用潜在因素中的非高斯性假设来将它们分开的基础上的。如果不止一个潜在因素是高斯的,那么它们将不会被 ICA 分离,因为分离是基于偏离正态性的。基本上,两个高斯变量给出了一个任意旋转的圆形联合概率,因此没有单一的解决方案。

https://web.archive.org/web/20210303213322/fourier.eng.hmc.edu/e161/lectures/ica/node3.html http://wwwf.imperial.ac.uk/~nsjones/TalkSlides/HyvarinenSlides。 pdf