对数基数在熵中为 2 的意义是什么?

机器算法验证
2022-03-09 07:15:38

对数基数在熵中为 2 的意义是什么?如果我们以 e 或 10 为基数呢?

3个回答

没什么。回想一下,我们有

logab=logcblogca

因此,如果您使用其他基础,例如e10,您始终可以使用标量乘法转换为另一个基数。

通信/信息被认为是比特,因此是神奇的数字,2.

我想在 Covers 的《信息论要素》中引用这一点:

如果对数的底是 b,我们将熵表示为Hb(X).如果对数的底数是 e,则熵以 nats 为单位。除非另有说明,否则我们将以 2 为底数取所有对数,因此所有熵都将以位为单位。

在引理 2.1.2 中:

Hb(X)=(logba)Ha(X)证明:
logbp=logba logap.

熵的第二个属性使我们能够改变定义中对数的底。熵可以通过乘以适当的因子从一个碱基改变到另一个碱基。

希望能帮助到你。

除了使用位(一次可以具有预先确定的 2 个值之一的字母或符号)是编码数据的最方便方式这一事实之外,没有其他意义如果没有计算机或 IT,我们还不如使用log10,在这种情况下,我们将需要更少的字母(数字)进行编码。或者,所有数字和罗马字母的组合会带来log36成图片。正如另一个答案中所述,转换很简单。

但是更令人困惑的是,我们对字母可以具有的值的数量的选择不仅限于自然数!事实上,使用一个e值字母是最自然的选择,这样的字母称为nat自然信息单位同样,转换很简单。但是,如果您想更深入地了解,请查看信息理论 - 使用对数计算熵的基本原理和其他解释