非平稳和非线性信号的香农熵

机器算法验证 信息论
2022-03-14 23:56:47

我想量化给定消息中的不确定性,但我使用的信号是非平稳和非线性的。

是否可以对此类信号应用香农熵?

2个回答

香农熵是一个与随机变量分布有关的概念,而不是与 rv 的任何特定实现有关的概念 OP 谈论的是“非平稳”信号。这意味着 OP 具​​有可用的信号序列,可以将其视为已实现的随机过程序列,即随机变量序列。

如果该过程(严格)是平稳的,那么每个 rv 将具有相同的分布,因此具有相同的熵,并且该过程的特定实现(数据)可用于形成对该共同熵的某种估计。

如果随机过程不是严格平稳的,则该过程的每个元素随机变量可能具有不同的熵。在这种情况下,熵概念的理论有效性仍然存在——但如果非平稳性完全不受限制,那么我们就没有足够的数据量来估计这些不同的熵。

这是非平稳随机过程的普遍问题,它会影响与此过程相关的所有度量、特征、矩、统计等的估计尝试。如果我们不以某种方式限制进程的内存时间异构性,我们将没有足够的数据来说明它。

因此,有关香农熵和非平稳数据的任何问题都应包括对非平稳性的假设限制(基于理论和/或数据评估假设),以便实际回答。

我会检查窗口熵和经验 PDF/CDF,以了解信号变化的速度,以及它是否是一个问题。