我能找到的最早的是

好，IJ“理性决策”。皇家统计学会杂志。B 系列（方法论），第一卷。14，没有。1，1952 年，第 107-114 页。JSTOR，www.jstor.org/stable/2984087

查看第 8 节“公平费用”：

通过它自己$\log p_1$（或者$\log(1 - p_1)$) 是对概率估计的优劣的度量

我在Gneiting & Raftery (2007, JASA )中找到了这个参考，他们写道“这个评分规则至少可以追溯到 Good (1952)”，这表明他们已经对原始来源进行了类似的搜索。

如果我们认为最小化交叉熵等同于最大化同一模型的对数似然，那么我相信我们可以追溯到 RA Fisher。这将日期置于 1912 年和 1922 年之间，具体取决于您希望该理论发展到何种程度；请参阅 John Aldrich “RA Fisher 和 1912 – 1922 年最大似然的形成”统计科学中的讨论。1997 年，卷。12、3号、162-176

我们也有一些相关的线程：

• 如何为一般回归目标构建交叉熵损失？

• “交叉熵”的定义和起源

它使用广义上的“交叉熵”一词，而不是本文中使用的含义，作为二进制数据模型的特定损失的术语。