我想不出比欧文的书更好的学习经验可能性的地方了。

考虑上的多项分布的可能性视为。因此，似然度是概率向量的函数，参数空间实际上是概率向量的维单纯形，MLE权重（假设它们都是不同的）。参数空间的维数随着观察次数的增加而增加。$L = L(p_1, \ldots, p_n)$$x_1, \ldots, x_n$$(p_1, \ldots, p_n)$$n$$1/n$

一个中心点是，经验似然提供了一种通过分析而不指定参数模型来计算置信区间的方法。如果感兴趣的参数是平均值，那么对于任何概率向量我们有平均值是 我们可以将轮廓似然计算为 然后我们可以计算 形式 的。这里是经验平均值，$\mu$$p = (p_1, \ldots, p_n)$

$$\mu(p) = \sum_{i=1}^n x_i p_i,$$ $$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$$ $$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$$ $r \in (0,1)$$\bar{x}$$L_{\text{prof}}(\bar{x}) = n^{-n}$. 区间或许应该被称为（轮廓）似然区间，因为没有预先声明覆盖范围。随着的减小，区间（是的，它们是区间）形成一个嵌套的、递增的置信区间族。例如，渐近理论或引导可用于校准以实现 95% 的覆盖率。$I_r$$r$$I_r$$r$

Owen 的书详细介绍了这一点，并为更复杂的统计问题和其他感兴趣的参数提供了扩展。

在计量经济学中，许多应用论文从假设 开始 ，其中是数据向量，是已知的个方程组，是一个未知参数。函数来自一个经济模型。目标是估计。

$$E[g(X,\theta)] = 0$$ $X$$g$$q$$\theta \in \Theta \subseteq \mathbb{R}^p$$q \geq p$$g$$\theta$

在计量经济学中，对进行估计和推断的传统方法是使用广义矩量法： 其中是正定加权矩阵， 经验似然提供了 GMM 的替代估计量。这个想法是在最大化非参数似然性时强制执行矩条件作为约束。首先，修复一个。然后求解 服从 $\theta$

$$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$$ $W$ $$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$$ $\theta$ $$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$$ $$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$$ 这是“内循环” '。上最大化： 这种方法已被证明比 GMM 具有更好的高阶属性（参见Newey 和 Smith 2004，Econometrica），这也是它优于 GMM 的原因之一。如需更多参考，请参阅 Imbens 和 Wooldridge 的笔记和讲座（第15 讲）。$\theta$ $$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$$

EL 在计量经济学领域受到关注当然还有很多其他原因，但我希望这是一个有用的起点。矩等式模型在经验经济学中非常普遍。

最著名的非参数估计量，其中表示事件发生时间随机变量。基本上，是允许审查的经验分布函数的泛化。正如大多数实用教科书所给出的那样，它可以启发式地推导出来。但它也可以正式导出为最大（经验）似然估计量。这里有更多细节。$S(t) = Pr(T > t)$$T$$\hat{S}$