MaxEnt是一种设计模型的方法，而SoftMax本身就是一个模型。

---

MaxEnt 是一种描述观察者对某些系统及其变量的知识状态的方法。例如，如果我有兴趣研究仅取决于一个真实参数的情况 $x$我知道（从实验数据或我的理论模型）这个参数的数据分布的唯一相关特征是它的平均值，我可以这样做：

$$\mathbb{E}_{p(x)}[x] = \int_{-\infty}^\infty \mathrm{d}x\ x p(x) \equiv \lambda$$

在哪里$\lambda$是通过实验定义的。然后，使用 MaxEnt 方法，概率分布“更合理”（假设条件更少$p(x)$)，是指数分布：

$$p(x|\lambda) = \lambda e^{-\lambda x}$$

这种方法非常有用，在统计物理学、信息论、统计学、机器学习等方面有很多应用。更多信息可以在Wikipedia和许多 不同的 来源上找到。

更一般地，可以使用具有约束的Discrete MaxEnt$\mathbb{E}_p[f_i(y_j)] = \sum_{j=1}^C f_i(y_j)p(y_j) \equiv F_i$为了$i = 1, \dots, K$获得概率分布：

$$p_j = p(y_j) = \frac1Z \exp\left( \sum_{i=1}^K \lambda_i f_i(y_j) \right)$$

它可以被开发成一个 softmax 函数（我自己没有做过，但我怀疑它一定是类似于本文的内容。

---

tl;dr MaxEnt 是一种开发概率模型的方法，因此它可以为我们提供非 SoftMax 的其他分类模型。这完全取决于模型的（信息）假设

您应该将最大熵与最大似然进行比较，而不是多项 Logistic 回归。

最大熵和最大似然的对偶是约束优化中更普遍的对偶现象的一个例子。

Berger, AL, Pietra, VJD 和 Pietra, SAD (1996)。自然语言处理的最大熵方法。计算语言学，22（1），39-71。