它似乎与Kullback-Leibler 散度的概念密切相关（参见Kullback 和 Leibler，1951 年）。在他们的文章 Kullback 和 Leibler 中讨论了区分两个假设的平均信息（定义为$I_{1:2}(E)$在等式中。$2.2-2.4$) 并引用 Shannon 和 Weaver 的The Mathematical Theory of Communication (1949) 和 p. 18-19。76 维纳的控制论（1948 年）。

编辑：

其他别名包括Kullback-Leibler 信息度量、相对信息度量、交叉熵、I-散度和Kerridge 不准确性。

感谢@Itamar 的建议，我在以下内容中找到了提及：

IJ Good，“信息论中的一些术语和符号”，独立外部评价会刊 - C 部分：专着，第一卷。103，没有。3，第 200-204 页，1956 年 3 月。

找到一个很好的交叉熵表示对我来说仍然非常有用。

感谢这一点 - 背景文献的良好总结。IEEE 1980 年的 Shore 和 Johnson 文章是一个好的开始，但 @itamar 指向 1956 年的 Good 专着更好。这个概念似乎来自 Shannon 的工作，Kullback & Leibler 的 1951 AMS 笔记是该术语当前使用的起源。至于“交叉熵”这个术语的起源与人工神经网络有关，GE Hinton、P. Dayan、BJ Frey 和 RM Neal 于 1994 年提交、1995 年出版的《科学》论文中使用了一个术语。其中有一个术语“Hemholtz Machine”的早期使用 - 可能是第一个。复制网址：http ://elderlab.yorku.ca/~elder/teaching/cosc6390psyc6225/readings/hinton%201995.pdf 在那篇论文“无监督神经网络的唤醒睡眠算法”中，等式 #5 之前的注释说：“当有许多替代方法来描述输入向量时，可以设计一种随机编码方案，利用跨替代描述的熵[1]。成本为：”（见论文 eqn#5）“第二项是识别权重分配给各种替代表示的分布的熵。” 在本文后面，eqn#5 被重写为 eqn#8，最后一项被描述为初始概率分布和后验概率分布之间的 Kullback-Leibler 散度。该论文指出：“因此，对于将相等概率分配给 d 的两个生成模型，）本文仍然将这个特定算法的最小化过程描述为最小化 Kullback-Leibler 散度，但看起来它可能是术语“跨替代描述的熵”被缩短为“交叉熵”的地方。有关使用 TensorFlow 的交叉熵的数值示例，请参阅此处的帖子，这很有帮助：）本文仍然将这个特定算法的最小化过程描述为最小化 Kullback-Leibler 散度，但看起来它可能是术语“跨替代描述的熵”被缩短为“交叉熵”的地方。有关使用 TensorFlow 的交叉熵的数值示例，请参阅此处的帖子，这很有帮助： https://stackoverflow.com/questions/41990250/what-is-cross-entropy 请注意，CE = 0.47965 的解决方案仅通过取 0.619 概率的自然对数得出。在上面的例子中，使用“一个热”编码意味着在交叉熵的求和中，由于乘以零值初始概率，其他两个初始概率和后验概率被忽略。