一种方法是使用Kullback-Leibler 散度的特性。

令为具有给定边距的分布族，令为乘积分布（显然）。$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

现在，对于任何，交叉熵为：$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

即边距的交叉熵之和。由于边距都是固定的，因此该术语本身必须是固定的。

现在我们可以将KL散度写成：

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

因此：

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

也就是说，最大化熵的 KL 散度的分布，根据 KL 散度的性质，我们知道本身。$P$$Q$$Q$