O'Reilly 最近发表了一篇关于机器学习悖论的文章。（链接）
它所说的基本上是这样的：没有机器学习算法是完美的。如果是，则意味着它过度拟合，因此它并不是真正完美的，因为它在现实世界的场景中表现不佳。
我搜索了，我找不到任何其他关于这个悖论的参考资料。我得到的最接近的是Accuracy Paradox，它说模型的有用性并没有很好地反映在它的准确性上。
这对我来说听起来不太好。例如，可以在现实世界中完美地学习、“过度拟合”和预测线性模型。所以我怀疑这实际上是为了找到正确的数据点集，从中可以推断出结果。也就是说，我们试图从不确定的数据中进行近似，但是有了正确的数据，我们可以停止近似并开始计算。
我的思路正确吗？还是真的没有完美的机器学习？
更新：根据目前收到的答案，我认为我的最后一段（我的思路）可以改写为：如果我们有一个足够简单的模型，为什么我们不能过度拟合模型，知道它会在未经训练的数据？这假设训练数据完全代表真实世界的数据，这意味着我们可以训练一个单一的模型。
请记住，我们认为“简单”或“可行”的内容是任意的，仅取决于计算能力和可用数据——这些方面是 ML 模型本身之外的。
基本上，机器学习用于解决无法（实际上或理论上）给出精确解决方案的问题。如果您有一个可以通过精确且经过验证的方法解决的问题，那么您不需要机器学习。因此，机器学习是通过具有一些误差范围的近似值来寻找解决方案。从这个意义上说，这样的系统永远不会完美地运行，并且总会有改进的空间。（许多现实世界的问题不能完美解决，因为它们不是简单的复杂，而是混乱的。）
这个答案将集中在模型误差的概念和增加模型要拟合的点集上。首先，也是最重要的，请理解 OP 正在努力解决的一般问题不是新问题，也不是仅限于机器学习，而是相反，机器学习是一组正在应用的技术和方法关于模型创建和性能测量的更大问题。
为此，我介绍了对这个领域感兴趣的人应该学习和生活的最重要的引语之一。恕我直言， Box 教授（箱形图的创造者！）对这一概念的最简单形式是
这基本上适用于所有模型。它们都是我们在现实世界数据中遇到的必要简化。所有模型都是根据实验数据的观察和汇编构建的，我们可以将其标记为训练数据，并且一旦针对其他数据点进行测试，所有模型都会失败，尤其是那些超出训练数据中包含的观察集的数据点。这并不一定会使它们无用。
Box 的原始引述更详细地说明了这一点：
现在，如果现实世界中存在的任何系统都可以用任何简单的模型精确表示，那将是非常了不起的。然而，巧妙选择的简约模型通常确实提供了非常有用的近似值。例如，通过常数 R 将“理想”气体的压力 P、体积 V 和温度 T 联系起来的定律 PV = RT 对于任何实际气体并不完全正确，但它经常提供有用的近似值，而且它的结构提供了丰富的信息，因为它源于对气体分子行为的物理观点。
对于这样的模型，不需要问“模型是真的吗？”。如果“真相”要成为“全部真相”，那么答案必须是“否”。唯一感兴趣的问题是“模型是否具有启发性和有用性？”。
这提醒我们，理想气体方程是一种理论派生模型，实际上，它无法准确预测 100% 观察到的真实数据点。理解和预测所建模的力如何表现和相互作用也非常有用。
对于最简单的线性回归模型，请查看双变量回归。对于两个观察到的变量X和Y，您创建一个回归方程来模拟 X 和 Y 之间的关系。但是，该模型实际上并不代表Y，而是一个新变量，我们称之为Y'。然后我们得到类似的东西：
Y` = a + bX
其中系数a和被选择以最小化和b之间的差异。如果我们将变量绘制为向量空间中的向量，我们将有两个向量，并且希望它们彼此非常接近。但是有一个向量称为错误，这样：Y'YYY'e
e = Y - Y`
线性回归的整个算法以优化a和b最小化为中心e。
因此，所有模型都有一些我们努力最小化的误差项。对于一组特定的给定点，我们可能能够对其进行优化，从而使误差甚至为零。但是对于我们只能观察到的任何现实世界中的点集，因此只能对观察群体的样本进行建模，下一次观察可能会导致误差项增加！即使不是通过机器学习得出的模型也是如此
有很多很多有用的模型可以分解为部分纪念活动，但我们仍然发现它们很有用。看看牛顿万有引力，它在现实世界的某些点上发生了故障，但大部分都是正确的，我们经常用它来预测和理解，部分原因是它比处理的更复杂的东西更容易理解和操作对于其他情况，例如GR，它本身也无法处理一些复杂的现象，例如量子引力。
除了最小化误差之外e，模型和性能还有两个问题，过拟合和欠拟合。
在过拟合中，统计模型描述的是随机误差或噪声，而不是潜在的关系。当模型过于复杂时会发生过拟合，例如相对于观察次数而言参数过多。过度拟合的模型的预测性能很差，因为它对训练数据的微小波动反应过度。
当统计模型或机器学习算法无法捕捉数据的潜在趋势时，就会出现欠拟合。例如，当将线性模型拟合到非线性数据时，就会发生欠拟合。这样的模型的预测性能很差。
所以，最后，前提：
没有机器学习算法是完美的。如果是，则意味着它过度拟合，因此它并不是真正完美的，因为它在现实世界的场景中表现不佳。
错过了这一点
本质上，所有模型都是错误的，但有些模型是有用的。
确实，没有任何通用的学习算法，无论是机器还是人类，都可以做到完美。这不仅仅是机器学习的问题。人类学习也是如此。不是我们通常认为的学习类型，比如数学，而是走路、看东西等。
我们学会了在标准情况下走路，并且可以做得很好，但是我们大多数人的走路模式并不能很好地适应穿着高跟鞋走路。现在，我们可以学到这一点，但这并不能帮助我们走钢丝等。
同样，视错觉之所以有效，是因为它们代表了我们在正常生活中不会遇到的情况，因此从未学会处理。相反，我们的视觉系统将它们视为看似相似但熟悉的情况。
有很多情况我们可能不得不应付，但从未学会这样做。我们这样做的好坏取决于我们建立的活动的心理模型，以及我们的“学习算法”处理我们拥有的训练数据的好坏。