熵不等于概率。_

熵衡量随机变量的“信息”或“不确定性”。当您使用基数 2 时，它以位为单位；并且变量中可以有不止一位信息。

在此示例中，一个样本“包含”大约 1.15 位信息。换句话说，如果您能够完美地压缩一系列样本，则平均每个样本需要那么多位。

熵的最大值是$\log k$， 在哪里$k$是您正在使用的类别数。它的数值自然取决于您使用的对数的底数。

以 2 为底的对数为例，如问题所示：$\log_2 1$是$0$和$\log_2 2$是$1$, 所以结果大于$1$如果类别数是肯定是错误的$1$或者$2$. 一个大于$1$超过就会出错$\log_2 k$.

鉴于此，通过以下方式缩放熵是相当普遍的$\log k$，因此结果确实介于$0$和$1$,

较早的答案，特别是：“熵与概率不同。” 和“熵的最大值是 log 𝑘”都是正确的。

如前所述，“熵衡量随机变量的“信息”或“不确定性”。信息可以用比特来衡量，这样做时应该使用 log2。但是，如果使用不同的信息单元，则信息量会发生变化，因为该单元可以编码更多信息。例如，1 位可以编码两个事件 0,1，而 1 个禁令可以编码 10 个不同的事件，因此 1 禁令 = 3.322 位（3 位 = 8 个事件）。

总之，只要在比较中使用相同的熵单位，使用 0-1 和 >1 之间的熵值实际上并没有什么不同。但是，对于某些应用程序（交叉熵损失），使用 0 到 1 之间的值可能更方便。