令有一个离散的连接概率分布其中是样本中的一个向量，而是一个参数从参数空间。 theta的函数时，我们将其称为似然函数。根据 ML 原则，我们必须在某些训练集上最大化似然函数。假设样本是独立同分布的，那么 ML 通过以下方式最大化：$X_1, ..., X_n$$P(x \mid \theta)$$\vec{x} = (x_1, ... , x_n)$$\theta$$P(x \mid \theta)$$\theta$

$theta^{*} = argmax \sum_{i=1}^{m} log(P(x_i \mid \theta))$
以上部分应该复习。

令 为集合并令为绘制的概率。最后让是抽奖的序列，并且是基于概率 P 的独立同分布。 是抽奖的度量，即.$\chi$$\{a_1, ... , a_n\}$$P(a \mid \phi)$$a_i$$x_1, ... , x_n$$f(a)$$f(a) = | \{i : x_i = a\} |$

经验分布定义为。$\hat{P}(a) = \frac{f(a)}{\sum_{a \in \chi}f(\alpha)} = \frac{f(a)}{m}$

联合概率$P(x_1, .. x_m | \theta) = \prod_{i=1}^{m}p(x_{i} | \phi)^{f(a)}$

正如您在此处看到的训练数据，您的教程和我已经定义了我们的经验分布类似物并获得了相同的结果。

TLDR，这只是一个符号问题。

如果可以的话，我只会添加评论...

你对 p(y|x) 的解释是什么？通常的表达是“给定x的y的概率”，即概率分布中的自变量对应的因变量。这是您要最大化的函数，而不是反函数。

作为旁注，有两种方法可以使用右侧方程的熵形式。这可以作为正则化内核添加到成本函数中，具有调制系数；或者它可以是成本函数中的主要项——要最大化的熵——具有来自拉格朗日乘数引入的物理系统的约束。