正如您似乎意识到的那样，我们当然不需要$1/m$得到线性回归的因子。最小化器当然是完全相同的，有或没有它。标准化的一个典型原因是$m$这样我们就可以将成本函数视为“泛化误差”的近似值，它是随机选择的新示例（不在训练集中）的预期平方损失：

认为$(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$从某个分布中抽样 iid。那么对于大$m$我们期望

$$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$$

更准确地说，根据强数定律，我们有

$$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$$ 概率为 1。

注意：上面的每个语句都是针对任何特定的的，在不查看训练集的情况下选择。对于机器学习，我们希望这些陈述适用于基于其在训练集上的良好性能而选择的在这种情况下，这些说法仍然成立，尽管我们需要对函数集做出一些假设，并且我们需要比定律更强大的东西大数。 $\theta$$\hat{\theta}$$\{h_\theta \,|\, \theta \in \Theta\}$

你不必。无论您包括还是抑制它，损失函数都具有相同的最小值。如果你包含它，你会得到一个很好的解释，即最小化（一半）每个数据点的平均误差。换句话说，您正在最小化错误率而不是总错误。$\frac{1}{m}$

考虑比较两个不同大小的数据集的性能。原始误差平方和不能直接比较，因为较大的数据集往往由于其大小而具有更多的总误差。另一方面，每个数据点的平均误差是。

你能详细说明一下吗？

当然。您的数据集是数据点的集合。一旦有了模型 ，单个数据点上的最小二乘误差为$\{ x_i, y_i \}$$h$$h$

$$(h(x_i) - y_i)^2$$

当然，每个数据点都不同。现在，如果我们简单地总结错误（并根据您描述的原因乘以二分之一），我们会得到总错误

$$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$$

但是如果我们除以和数，我们得到每个数据点的平均误差

$$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$$

平均误差的好处是，如果我们有两个不同大小的数据集和，那么我们可以比较平均误差而不是总误差。因为如果第二个数据集的大小是第一个数据集的 10 倍，那么我们预计相同模型的总误差大约会大 10 倍。另一方面，平均误差除以数据集大小的影响，因此我们希望性能相似的模型在不同数据集上具有相似的平均误差。$\{ x_i, y_i \}$$\{ x'_i, y'_i \}$