在普通最小二乘回归中，目标是对条件期望进行建模；

$$E[y_i|x_i] = x_i'\beta$$

$y_i$和分别被称为因变量和自变量，因为我们实际上是 在。 $x_i$$y_i$$x_i$

普通最小二乘相当于我们假设的最大似然； 在这种情况下，被视为固定值（我们没有将称为随机变量并给它一个概率分布）意味着“数据”，，只是的

$$y_i|x_i \stackrel{iid}{\sim} N(x_i'\beta,\sigma^2)$$ $x_i$$x_i$$\mathcal{D}$$y_i$ $$\mathcal{D} \equiv \{y_1,..,y_n\}$$

所以写

$$p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i | x_i, \theta)$$

其中实际上是正确的。$\theta \equiv \{\beta,\sigma\}$

似然另一方面，视为随机变量，尽管在某些设置中适用，但它不是传统意义上的线性回归。$p(\mathcal{D} | \theta) = \prod_{i=1}^n p(y_i , x_i | \theta)=\prod_{i=1}^n p_y(y_i | x_i, \theta)p_x(x_i|\theta)$$x_i$