两个离散傅立叶变换的相似性?

机器算法验证 时间序列 模型比较 傅里叶变换 气候
2022-01-20 12:43:17

在气候建模中,您正在寻找能够充分描绘地球气候的模型。这包括显示半周期性的模式:例如厄尔尼诺南方涛动。但是模型验证通常发生在相对较短的时间段内,其中有不错的观测数据(过去约 150 年)。这意味着您的模型可能会显示正确的模式,但会出现异相,这样线性比较(如相关性)将无法表明模型表现良好。

离散傅立叶变换通常用于分析气候数据(这里是一个示例),以便获取这种循环模式。是否有任何标准衡量两个 DFT 的相似性,可以用作验证工具(即模型的 DFT 与观察的 DFT 之间的比较)?

对两个面积归一化 DFT 的最小值进行积分(使用绝对实数值)是否有意义?我认为这会导致得分,其中完全相同的模式,而完全不同的模式。这种方法的缺点可能是什么?x[0,1]x=1x=0

3个回答

光谱相干性,如果使用得当的话。在每个频率上计算相干性,因此是一个向量。因此,加权相干性的总和将是一个很好的衡量标准。您通常希望对在功率谱密度中具有高能量的频率处的相干性进行加权。这样,当时间序列中该频率的内容可以忽略不计时,您将测量主导时间序列的频率的相似性,而不是用较大的权重对相干性进行加权。

因此,简单来说,基本思想是找到信号中幅度(能量)较高的频率(解释为主要构成每个信号的频率),然后以更高的权重比较这些频率的相似性并比较权重较低的其余频率的信号。

处理这类问题的领域称为交叉光谱分析。 http://www.atmos.washington.edu/~dennis/552_Notes_6c.pdf是对交叉光谱分析的极好介绍。

Optimal Lag:也可以在这里查看我的答案:如何关联两个时间序列,可能存在时间差异

这涉及使用光谱相干性找到最佳滞后。R 具有计算功率谱密度、自相关和互相关、傅里叶变换和相干性的功能。您必须正确编码才能找到最佳延迟以获得最大值。加权相干。也就是说,还必须编写使用谱密度对相干矢量进行加权的代码。然后,您可以总结加权元素并对其进行平均,以获得在最佳滞后处观察到的相似性。

您是否尝试过另一种气候信号检测/建模方法,例如小波分析?DFT 在气候分析中可能出现的大问题实际上就是您提到的:振荡不是完全周期性的,它们通常具有不同的时间跨度,因此它们实际上可以具有许多不同的振荡范围,从傅立叶变换的角度来看,这非常令人困惑.

小波分析更适合气候信号,因为它们允许您检查不同的振荡时间跨度;就像乐器在不同时间演奏不同的频率一样,您可以通过小波变换检查不同时间跨度的不同频率。

如果您有兴趣,Lau & Weng (1995) 的这篇论文应该可以消除您对这种方法的大部分疑虑。最有趣的部分是模型的小波变换与数据的小波变换几乎可以直接比较,因为您可以直接比较模型预测的时间跨度,而忽略它没有的所有虚假振荡范围。

PS:我必须补充一点,我想将此作为评论发布,因为这实际上不是 OP 所要求的,但我的评论太大了,并决定将其发布为可能派上用场的答案DFT 的另一种方法。

我投票赞成并支持使用基于小波和频谱图的分析作为 dft 的替代方案。如果您可以将您的系列分解为局部的时间频率箱,它可以减少非周期性和非平稳性的傅立叶问题,并提供一个很好的离散数据配置文件进行比较。

一旦将数据映射到光谱能量与时间和频率的三维集合,就可以使用欧几里德距离来比较轮廓。完美匹配将接近零距离的下限。*您可以查看时间序列数据挖掘和语音识别领域的类似方法。

*请注意,小波分箱过程会在一定程度上过滤信息内容-如果比较数据中没有损失,则在时域中使用欧几里德距离进行比较可能更合适