那么，源熵究竟是什么？

当论文谈到“源熵”时，他们的意思是信息源的熵。您可以从论文的以下段落中看到-“香农表明，当信道容量大于源熵时，必须存在由信息源生成的序列的至少一种编码，该编码允许序列的无差错传输。”

现在，问题集也提到了源熵，但公式非常不同！

是的，没有。公式看起来不同，但实际上并非如此。第一个公式是 $H_{source} = lim_{k→∞}\frac{1}{k}H_k$

$H_{source}$是源的总熵，并且$H_k$是随机变量中的每个可能离散值的熵$H$可。因此，总熵是单个值熵的总和几乎是一个简单的陈述，而离散值的数量可以达到$\infty$.

问题集方程是- $H(s) = \sum_i p_ilog_2\frac{1}{p_i}$

这实际上是相同的等式，它只是替换了通用的“$H_k$" 隐含$log_2\frac{1}{p_i}$. 这$\frac{1}{k}$在第一个方程等价于$p_i$在第二个等式中 - 即他们假设 H 的所有离散值都是同样可能的。这通常不是正确的，但是当熵最大化时是正确的。