您在这个问题中强调的实际上是回归（预测连续变量）和分类（预测结果）之间的边界。实际上，预测离散的数值变量或有序的分类结果可以属于回归或分类，这取决于您如何解释问题。

一些算法本身就是为分类而设计的，因此，当用于对连续目标变量进行回归时，实际上会在目标变量的离散近似值上产生预测。正如 Ben 所强调的，决策树属于这一类。根据您建议的方法，几乎​​任何多类分类算法都可以用于回归。

相反，为回归设计的算法可以通过逆运算用于分类目的。例如，逻辑回归是一种回归算法，因为它预测的是一个连续变量，当它实际预测给定类的概率时，它通常被用作分类器。

“普通固定数字”是指分段常数函数吗？当然，这些是通用逼近器（带有一些自然假设*）。事实上，决策树会生成一种特殊的分段常数函数，它们是通用逼近器*。

*我实际上一直无法找到这些参考资料，并且不确定如何做出合理的假设。使用示例$\sin(x)$和$\sin(1/x)$为了$x>0$表明我们需要一个紧凑的域，并且肯定需要某种连续性。这可能就足够了，但是我的分析课程被遗忘太久了，不知道如何产生证明；你可能需要一些更高级的东西，比如 Stone-Weierstrass。如果您将 Lipschitz 连续性作为假设，那么似乎会有一个简单（/ ier）的直接论点。