交叉熵(损失)的实体是什么

数据挖掘 损失函数
2022-02-09 22:12:05

交叉熵(损失),估计使用霍夫曼编码进行编码所需的信息量因此,人们可以声称应该考虑测量信息量,例如比特数。yilog(pi^)yp^

根据的基数,这些可以是二进制位数字,但通常是欧拉位,因为主要使用这些所谓的欧拉位是否有流行或官方名称或单位?这样考虑交叉熵损失的单位可以吗?logln

显然,损失用于优化并且大多数人不关心确切的单位,但我很好奇并且想在向其他人解释 ML 时使用正确的术语。

1个回答

基本上,由于他对熵的定义,第一个定义如此大量信息的是 Shanon:https://en.wikipedia.org/wiki/Entropy_(information_theory)

使用香农位。

它描述了信息的“兴趣”或“惊喜”程度,也是基于log 2。但我不知道它是否适用于交叉熵。