对数基数在熵中为 2 的意义是什么?如果我们以 e 或 10 为基数呢?
对数基数在熵中为 2 的意义是什么?
机器算法验证
熵
2022-03-09 07:15:38
3个回答
没什么。回想一下,我们有
因此,如果您使用其他基础,例如和,您始终可以使用标量乘法转换为另一个基数。
通信/信息被认为是比特,因此是神奇的数字,.
我想在 Covers 的《信息论要素》中引用这一点:
如果对数的底是 b,我们将熵表示为.如果对数的底数是 e,则熵以 nats 为单位。除非另有说明,否则我们将以 2 为底数取所有对数,因此所有熵都将以位为单位。
在引理 2.1.2 中:
证明:
.熵的第二个属性使我们能够改变定义中对数的底。熵可以通过乘以适当的因子从一个碱基改变到另一个碱基。
希望能帮助到你。
除了使用位(一次可以具有预先确定的 2 个值之一的字母或符号)是编码数据的最方便方式这一事实之外,没有其他意义。如果没有计算机或 IT,我们还不如使用,在这种情况下,我们将需要更少的字母(数字)进行编码。或者,所有数字和罗马字母的组合会带来成图片。正如另一个答案中所述,转换很简单。
但是更令人困惑的是,我们对字母可以具有的值的数量的选择不仅限于自然数!事实上,使用一个值字母是最自然的选择,这样的字母称为nat或自然信息单位。同样,转换很简单。但是,如果您想更深入地了解,请查看信息理论 - 使用对数计算熵的基本原理和其他解释。
其它你可能感兴趣的问题