- 我很想知道熵与信号或时间序列轨迹的信息内容之间的关系。当一个系统处于平衡状态时,它具有最大的熵。
熵是否意味着信息丢失的度量?更高的熵 == 信息丢失?据我了解,香农的信息论熵衡量了我们对下一个传入符号的不确定性。因此,熵 = 不确定性的度量。当我们完全不确定事件的结果时,熵是最大的。那么,这是否意味着最大熵 = 最小信息?
- 如果我们考虑相空间中的轨迹并且轨迹的每个元素都是一个符号,那么轨迹的演变是否意味着正在创建信息?我们如何推断轨迹的熵?
熵是否意味着信息丢失的度量?更高的熵 == 信息丢失?据我了解,香农的信息论熵衡量了我们对下一个传入符号的不确定性。因此,熵 = 不确定性的度量。当我们完全不确定事件的结果时,熵是最大的。那么,这是否意味着最大熵 = 最小信息?
根据您的措辞,您似乎将热力学熵与信息熵等同起来。这些概念是相关的,但您必须小心,因为它们在两个领域的使用方式不同。
香农熵衡量不可预测性。当结果最不确定时,熵最大是正确的。无偏硬币具有最大熵(在硬币中),而出现正面概率为 0.9 的硬币具有较小的熵。然而,与您的下一个陈述相反,最大熵 =最大信息量。
假设我们抛硬币 20 次。如果硬币是无偏的,则序列可能如下所示:
TTHTHTHTHTHHTHTTHTH
如果硬币以 0.9 的概率出现正面,它可能看起来更像这样:
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
第二个信号包含较少的信息。假设我们使用游程编码对其进行编码,如下所示:
10T6T2
我们将其解释为“10 个正面,然后 1 个尾巴,然后 6 个正面,然后是一个尾巴,然后是 2 个正面”。将此与应用于第一个信号的相同编码方法进行比较:
TT1T2TT2T2T1T1TT1
我们不能尽可能多地压缩来自最大熵硬币的信号,因为它包含更多信息。
至于你的具体问题:
处于平衡状态的热力学系统具有最大熵,因为它的微观状态在给定其宏观状态(例如其温度、压力等)的情况下是最大不确定的。从我们观察者的角度来看,这意味着我们对其微观状态的了解不如它不处于平衡状态时那么确定。但是处于平衡状态的系统包含更多信息,因为它的微观状态是最大程度不可预测的。减少的量是宏观和微观之间的互信息。这就是熵增加时我们“丢失(相互)信息”的意义。损失与观察者有关。
只要过程是随机的,每个新符号都会向序列中添加信息。这些符号是随机变量,因此每个符号都有一个我们可以计算熵的分布。序列的信息内容是用联合熵来衡量的。
那么,这是否意味着最大熵 = 最小信息?
不,最大熵意味着您观察到的事件传达了最大信息。如果一个事件以相同的概率发生,你不知道会发生什么,那么事件的结果会告诉你最多的信息。但是当你对某件事非常确定的时候,如果它只能包含非常有限的信息的话。你从所有事件中获得的平均信息就是熵的测量值。