信息处理 - 这些情况的熵是多少？ - 吾爱随笔录

信息处理离散信号参考请求信息论随机的

2022-02-06 06:10:14

这个问题源于一篇文章，

《符号序列的熵估计》下载链接

其中摘要提到了在信息论中使用符号的必要性。

符号的随机链（零和一或字符） $s_1, s_2,\ldots,$ 从一些有限的字母中提取出来的，几乎出现在所有科学中。例子包括一维磁体的自旋、书面文本、DNA 序列（这里的符号是字母）、地球磁场方向的地质记录，以及数字数据存储和传输中的比特。

本文介绍了查找符号熵的技术。我的问题是，如果符号的熵很重要，那么实数值的熵呢？从熵的角度来看，文本中是否存在证明或某些信息，它提供了随机符号的熵大于或小于实数的熵的信息。

Q1：换句话说，具有二进制值的随机变量的熵和实值随机变量的熵是多少？一枚公平的硬币以相等的概率取 2 个值 -0/1，其熵为 1 位。那么，1位是最大熵吗？二元随机变量的熵会小于还是大于实值随机变量的熵以及如何显示？

所以，我想知道是否有证据或材料可以推断字符的熵是否与实数的熵更小/更大或相同。

Q2：我想从熵和信息论的角度了解为什么在编码和存储等其他应用中使用符号。

2个回答

熵 $H(X)$ 连续随机变量的 $X$ 是无限的。证明是微不足道的（请注意，我们可以在不失一般性的情况下使用自然对数，因为任何其他对数都是相同的，但有一个因子： $\log_b(x) = \frac 1{\ln(b)}\ln(x)$ ):

\begin{matrix} H (X) & = E {I (X)} \\ = \int_{- \infty}^{\infty} - \ln (P (X = x)) d x \end{matrix}

$\begin{array} \\H(X) &= E\{I(X)\}\\ &= \int\limits_{-\infty}^{\infty}{-\ln\left(P(X=x)\right) dx} \end{array}$

这里的重点是，对于任何真正连续分布的随机变量，特定实际值被“命中”的概率是 $P(X=x)\equiv 0 \,\forall x$ ，因此，该事件发生中包含的信息将是无限的。因此，您不能直接比较离散字母与密集间隔（例如整个 $\mathbb R$ ）。

因此，人们发明了微分熵。对于您的实值（= 1 维）情况，这不过是显而易见的：

h (x) = \int_{- \infty}^{\infty} f (x) \log_{b} (f (x)) d x,

$h(x) = \int\limits_{-\infty}^{\infty} f(x)\log_b\left(f(x)\right)dx \text{,}$ 和

f

$f$ 是的连续概率密度函数

X

$X$ .

现在，将离散情况与连续情况进行比较所需的只是为字母表的离散 PDF 建模 $\mathbb X$

f_{discrete} (x) = \sum_{x_{i} \in X} δ (x - x_{i}) P_{discrete} (x_{i})

$f_\text{discrete}(x) = \sum\limits_{x_i\in\mathbb X} \delta(x - x_i)P_\text{discrete}(x_i)$

$\delta$ 是狄拉克函数。

请注意，并非您对离散熵的所有了解都适用于微分熵。阅读维基百科文章！

为马库斯的回答添加一些细节：

您的问题是关于“符号的熵”和“实数的熵”。在信息论中，只有源才有熵。一个来源有一个字母表，字母表中的每个“字母”或符号都有一定的概率，并带有一定的信息量。
将源想象成一个带有按钮的黑盒子。每次按下按钮，它都会产生一个符号。在许多教科书问题中，源都被完整描述，但在实践中，您通常不知道源字母表是什么以及符号概率是多少。这就是“熵估计”的用武之地：基本上你多次按下按钮，记下出现的符号，并尝试猜测熵。
请注意，这个问题比您想象的更常见：例如，没有人知道产生所有可能书面语言的来源的熵。这就是为什么熵压缩器（例如 Huffman 算法）会进行某种形式的熵估计。
香农的熵公式假设源字母表是离散的。马库斯的回答涵盖了连续的情况。符号是否是实数并不重要，重要的是源字母表的连续性（或缺乏连续性）。
您的第二个问题过于开放，无法给出简单的答案，但想法是您想对源符号提出二进制编码。良好的编码将更少的比特分配给更可能的符号。

其它你可能感兴趣的问题