我们知道损失（误差）最小化起源于 18 世纪早期的高斯和拉格朗日。
最近，弗里德曼* 赞扬了其在预测建模中使用的优点：
“回归分析的目的是使用数据构建一个函数 f(x)，该函数可以作为 f(x) 在感兴趣的域 D 上的合理近似值。合理性的概念取决于使用近似值的目的。然而，在几乎所有应用中，准确性都很重要……如果回归分析的唯一目的是获得预测响应 y 未来值的规则，给定协变量 (x1,...,xn) 的值，那么准确性是模型唯一重要的优点……”
但是准确性是模型唯一重要的优点吗？
我的问题涉及损失最小化是否是评估回归函数的唯一方法，无论是 OLS、ML、梯度下降、二次或最小绝对偏差等。
显然，可以在后验损失之外评估多个指标，即在模型建立之后。但是是否有多元函数可以先验或在优化阶段评估多个指标？
例如，假设有人想使用一种回归函数，该函数不仅基于损失最小化而且还最大化非线性相关性或香农熵来优化拟合？
这些功能是否可用和/或这些问题是否已经研究和发表？
有什么软件可以实现这些方法？
*弗里德曼，JH，多元自适应回归样条，统计年鉴，1991 年，第一卷。19，没有。1（3 月），第 1-67 页。
因此，任何（理性的）决策过程都可以编码在损失函数中并作为优化问题提出。
例如，L1 和 L2 正则化可以被视为将对更小参数或更简约模型的偏好编码到损失函数中。假设它不是不合理的，任何偏好都可以被类似地编码。
例如，假设有人想使用一种回归函数，该函数不仅基于损失最小化而且还最大化非线性相关性或香农熵来优化拟合？
然后你会调整你的效用函数来包含一个惩罚这些东西的术语，就像我们对 L1/L2 正则化所做的那样。
现在，这可能会使问题在计算上变得难以处理；例如，已知 0/1 损失会导致 NP-hard 问题。通常，人们更喜欢研究易于处理的问题，因此您不会找到很多现成的软件可以做到这一点，但没有什么能阻止您写下这样的函数并对其应用一些足够通用的优化器。
如果您反驳说您有一个无法通过损失函数建模的偏好，即使在原则上，那么我只能说这种偏好是不合理的。不要怪我，这只是上述定理的做法。您可以随意拥有这样的偏好（有很好的经验证据表明，人们实际持有的大多数偏好在某种程度上都是不合理的），但您不会找到太多关于在正式回归环境中解决此类问题的文献。
但是准确性是模型唯一重要的优点吗？
模型的实际用途过于微妙，无法进行理论讨论。解释和概括性浮现在脑海中。“谁会使用这个模型？” 应该是所有统计分析中的首要问题。
弗里德曼的陈述在经典统计框架中是站得住脚的：我们没有根本的理由反对黑盒预测。如果您想要一个与您在未来观察到的 Y 非常接近的 Y 帽，那么就像 John Tukey 所说的那样“将您的模型建造得像房子一样大”。
这不能原谅过度拟合，除非你的问题定义不明确[复数“你”是众所周知的统计学家]。过度拟合往往是分析师遇到数据而不是接近数据的结果。通过浏览数百个模型并选择“最好的”，您很容易构建缺乏通用性的模型。我们总是看到它。
不经意间，您还问了一个不同的问题：“减少回归损失的替代方案”。Minimax 估计器，最小化损失函数的估计器，是矩估计器方法的一个子集：给估计函数一个零的估计器。MOM 的目标是找到一个无偏估计量，而不是最小化损失的估计量。