动机：我正在尝试使用 Akaike 信息准则来评估一组非线性模型的模型排名和过拟合风险。

据我了解，我必须计算每个模型的最大似然估计量。

如果你想要 AIC，是的，你需要 MLE。但 AIC 并不是自动理想的。[您应该注意的一件事是，如果您在用于推理的相同数据上选择模型，您将遇到各种问题。]

我可以假设残差是高斯*，然后 MLE 是最小二乘法。我不相信这是足够的；如果我的模型是非线性的，这是否意味着更复杂的概率密度？

我不这么认为。如果您的模型具有以下形式$y=f(X,\beta)+\varepsilon$，我不明白为什么非线性$f$会暗示任何关于$\varepsilon$.

你的实际分布大约$E(Y)$几乎可以肯定比高斯更复杂/（数据何时是高斯的？我几乎从未想过。）

而且，如果我的残差不是高斯的并且我对概率密度没有很好的假设，我将如何选择一个？

如果您没有良好的基础，那么通过查看用于拟合模型的相同数据来选择模型无论如何都会使您的 AIC 产生偏差。[例如，您可以通过样本拆分或交叉验证来解决这个问题。]

我也可以通过观察来检查，不是吗？

您的残差是您的错误的代表，是的，例如，倾斜的残差可能表示非正态性。

如果我在每个模型的每次分析之前检查这些，如果它们不正常我会怎么做？

• 您可能会考虑一类模型，例如广义非线性模型（如 GLM，但参数为非线性），但仍使用 AIC。

• 即使它不是 ML，您也可能会坚持使用最小二乘法，并将 AIC 简单地视为惩罚 MSE 的（单调变换）。

• 根据您需要模型实现的目标，您可能会考虑将当前模型修改为尾部稍重的模型，例如受污染的正常模型，可能仍使用 ML。

• 您可能会考虑使用一些不同的标准来进行模型选择和模型拟合。

但无论如何，您的实际错误不会完全正常；问题是这将在多大程度上影响您的推理。（例如，无论拟合的模型是否完全正确，AIC 在权衡模型复杂性的拟合方面可能表现得相当好。）

尽管这仅适用于一组数据，但我不一定知道对于任何可能的数据集，每个模型的错误总是正常的。

请注意，如果其他（更重要的）假设成立，残差的边际分布只会接近误差分布；在尝试过多担心正态性之前，您应该首先检查均值和方差的模型是否合理。