哪些机器学习模型是通用函数逼近器?

人工智能 神经网络 机器学习 参考请求 函数逼近 通用逼近定理
2021-10-26 04:03:08

通用逼近定理指出,具有包含有限数量神经元的单个隐藏层的前馈神经网络可以逼近任何连续函数(前提是满足激活函数的一些假设

是否有任何其他机器学习模型(除了任何神经网络模型)已被证明通用函数逼近器(并且在有用性和适用性方面可能与神经网络相媲美)?如果是,您能否提供指向研究论文或显示证明的书籍的链接?

过去在其他地方(例如这里这里这里)也提出了类似的问题,但它们不提供显示证明的论文或书籍的链接。

1个回答

支持向量机

在论文A Note on the Universal Approximation Capability of Support Vector Machines (2002) B. Hammer 和 K. Gersmann 研究了 SVM 的通用函数逼近能力。更具体地说,作者表明,具有标准内核(包括高斯、多项式和几个点积内核)的 SVM 可以逼近任何可测量或连续函数,达到任何所需的精度。因此,SVM 是通用函数逼近器。

多项式

众所周知,我们可以用多项式逼近任何连续函数(参见Stone-Weierstrass 定理)。您可以使用多项式回归将多项式拟合到您的标记数据。