子空间的直观解释

信息处理 音乐 特征分解
2022-02-14 02:20:01

信号处理中有许多技术使用特征分析(MUSIC、SVD、特征分解等)来产生信号和噪声子空间。信号子空间的数学定义很丰富,但是什么是子空间的直观、有形的解释是什么?是代表?更重要的是,如何解释子空间的值?这个结果究竟提供了什么?如何使用它的一个例子是什么?在信号处理中我能想到的几乎所有主题都对复杂主题有非常直观的解释——但我还没有看到一个很好的子空间解释。

编辑:问题的关键是,子空间的直观解释是什么,因为它适用于信号处理算法和应用程序(即,不是线性代数解释)?

3个回答

TL;DR: 子空间是整个信号空间的低维线性部分,预计将包含(或接近)大部分可观察和有用的信号或其转换,以及允许我们计算有趣的附加工具数据上的东西

我们得到一组数据。为了更容易地操作它们,通常将它们嵌入或表示为适应良好的数学结构(来自代数或几何中的大量结构),以执行操作、证明事物、开发算法等。例如在信道编码中,组或环结构可以更好地适应。在称为数学形态学的领域中,人们使用晶格。

在这里,对于标准信号或图像,我们通常假设一个线性结构:信号可以被加权,添加:这是线性系统的基础,如传统的加窗、过滤(卷积)、微分等。因此,选择的数学结构在于向量空间配备工具的向量空间:点积(可用于比较数据)、范数(用于测量距离)。这些工具帮助我们计算。实际上,能量最小化和线性度密切相关。αx+βy

然后,个样本的数据自然地存在于维的经典线性空间中。它很大(想想百万像素的图像)。它包含大量其他“无趣”的数据:任何维“随机”向量。它们中的大多数是并且永远不会被观察到,没有意义等。NNN

相对于大空间,您可以记录的合理数量的信号(直至变化)非常小。更重要的是,我们经常对结构化信息感兴趣。因此,如果您减去噪声影响、不重要的变化,有用信号的比例在整个潜在信号空间中非常非常小。

一个非常有用的假设(启发式,以帮助发现)是那些有趣的信号靠近在一起,或者至少沿着“有意义”的空间区域。一个例子:假设一些外星智能除了非常精确的狗探测器之外没有其他探测系统他们将在整个太阳系中几乎一无所获,除了许多点位于一个模糊地看起来像一个球体的东西上,有很大的空白空间(海洋),有时非常集中(城市地区)。并且点云围绕一个中心移动,具有恒定的周期性,并且会自行旋转。那些外星人发现了什么!

无论如何,看起来部分球体的点云是可以解释的……也许是一颗行星?

因此,我们的狗点云可能是完全 3D 的,但它们集中在 2D 表面(较低维度)上,看起来相对规则(高度)且平滑:大多数狗生活在中等高度。

这些空间的平滑低维部分有时被称为平滑流形或变体它们的结构和运算符允许计算事物。例如:距离、分布等。当沿着地球表面(在球形 2D 坐标中)计算时,狗间距离比使用标准 3D 规范直接通过行星计算更有意义!但这仍然很难处理。让我们再简化一下。

再靠近一点,狗点几乎位于接近平坦的表面上:国家,甚至大陆。这些平面是线性(或仿射)子空间的一部分不过,您现在可以更轻松地计算狗之间的距离,并设计一种让您变得富有的狗匹配算法。

故事继续一点。有时,自然数据不会直接围绕清晰的结构组装。揭示这种固有结构是 DSP 的核心。为了帮助我们朝这个方向发展,我们可以借助数据转换来更好地集中它们(傅立叶、时频、小波)、过滤。

如果我们找到合适的子空间,大多数算法会变得更简单、更易于处理,等等:自适应滤波、去噪、匹配。

[附加] 一个典型的用途如下:通过精心选择的正交变换可以更好地集中信号。同时,零均值随机高斯噪声在正交变换下仍然是高斯噪声。通常,协方差矩阵可以对角化。如果按降序对特征值进行排序,最小的往往会变平(它们对应于噪声),而最高的或多或少对应于信号。因此,通过对特征值进行阈值处理,可以消除噪声。

子空间是一个线性代数概念。我能想到的最有代表性的例子就是XY平面与XYZ空间的关系,前者是后者的子空间。平面上的任何向量也位于空间中。空间中的每个向量在子空间上都有一个正交投影。因此,您的子空间中的一组向量只能使用线性组合到达该子空间中的向量。对于平面外的向量,平面内向量的线性组合只能如此接近。

子空间只是包含在更大向量空间中的向量空间。

将随机信号空间分成两个统计上不相关的子空间,一个期望的信号空间和一个噪声空间,产生彼此正交的特征向量。

这些子空间的这种正交性特性用于将噪声与期望的信号分离,并从可用数据中获得更好的频谱估计。