我将引用一个教育参考来指出可能的缺点。引用简单线性回归模型的情况：

目标：将连续变量 Y 的期望值建模为连续预测变量 X 的线性函数，E(Yi) = β0 + β1xi

模型结构：${Y_i = β_0 + β_1x_i + \epsilon_i}$

模型假设：Y 为正态分布，误差为正态分布， ∼ N(0, )，且独立。${\epsilon_i}$${σ^2}$

在广义线性模型(GLM) 的相应情况下，引用的假设包括，引用同一参考文献：

数据Y1、Y2、...、Yn是独立分布的，即案例是独立的。

因变量 Yi 不需要是正态分布的，但它通常假设来自指数族的分布（例如二项式、泊松、多项式、正态...）

GLM 不假设因变量和自变量之间存在线性关系，但它确实假设在链接函数和解释变量方面的转换响应之间存在线性关系；例如，对于二元逻辑回归。${logit(π) = β_0 + β_X}$

自（解释）变量甚至可以是原始自变量的幂项或其他一些非线性变换。

不需要满足方差的同质性。事实上，考虑到模型结构，在许多情况下甚至是不可能的，并且可能存在过度离散（当观察到的方差大于模型假设时）。

错误需要是独立的，但不是正态分布的。

它使用最大似然估计（MLE）而不是普通最小二乘法（OLS）来估计参数，因此依赖于大样本近似。

因此，与简单线性回归的差异本质上与 Y 和误差项的正态假设有关，而 GLM 不需要这样的假设，但通常在指数分布族内运行。

此外，方差同质性仅适用于简单线性回归，GLM 可以指定适当的方差-协方差矩阵结构。

最后，GLM 通常采用数值上更复杂的最大似然估计例程，这对于普通回归来说是不需要的。

要回答特定问题：“但是像这样的线性模型会有什么缺点/无能？”，答案是错误结构的正确说明，甚至是与方差相关的对角矩阵，其中一些解释变量涉及权力。

$$Y=\beta_0+\beta_1x_1+\beta_2 x_2^2+\beta_3 e^{5x_3}+\cdots+\epsilon$$

是线性模型。

Visualy，如果我绘制我的数据，我希望这种灵活性可以让我在响应和预测变量之间建模任何类型的形状。我还没有学习更高级的模型，但是像这样的线性模型会有什么缺点/无能？

是的，您可以为任何形状建模。

但是模型的灵活性，作为参数的函数是有限的。模型参数只出现在线性部分。所以你不能例如适合这个模型$\beta_i$

$$Y=\beta_0+\beta_1x_1+\beta_2 x_2^{\beta_4} +\beta_3 e^{\beta_5 x_3}+\cdots+\epsilon$$

您可以通过更改这些系数和 ，但它们不是可以在拟合过程中更改的自由模型参数。$\beta_2 x_2^2+\beta_3 e^{5x_3}$$2$$5$

（例如，我意识到您将无法在上使用线性回归，但我无法想象/理解这将如何预防/不灵活在建模中）$Y=\beta_0 + \beta_1 x^{\beta_2}+\epsilon$

这是一个有点牵强的问题。视觉上没有什么可以理解的。您可以使用线性回归制作任何形状的曲线。但是多个形状将不会在单个模型中可用。例如，您可以具有以下形状：

$$Y=\beta_0 + \beta_1 x^2+\epsilon$$

或者

$$Y=\beta_0 + \beta_1 x^3+\epsilon$$

或使用任何其他系数。

但只有使用更通用的非线性模型，您才能一次捕获所有可能的形状。

$$Y=\beta_0 + \beta_1 x^{\beta_2}+\epsilon$$

例如，当系数是您希望使用推理来确定的未知参数时，这很有用。$\beta_2$

举个例子：阶跃函数不能用线性回归来表示：海边的一家工厂有一堵墙来保护它免受海浪的影响。小于 5 米的海浪停留在墙后，不会造成伤害。5米以上的海浪导致水进入冷却器，使其短路，损失价值1000万美元。将损失建模为波高的函数。对于决策树回归可以想象的最简单的问题，与线性模型完全不匹配（甚至逻辑回归也声称完美分离......）。

线性模型本身几乎没有限制。事实上，神经网络有 Cybenko 的通用逼近定理！这将单层网络的输出作为一些构建的预测变量的线性函数。问题在于找到正确的预测变量集、样本外的泛化等等。在实践中，这些都是难题。