参数和非参数机器学习算法之间的主要区别是什么?

数据挖掘 机器学习 计算机视觉 核心 高斯 非参数
2022-03-07 05:12:07

我对参数和非参数机器学习算法、它们的优缺点以及它们在计算复杂性方面的主要区别感兴趣。特别是我对参数高斯混合模型(GMM)和非参数核密度估计(KDE)感兴趣。我发现如果使用“少量”数据点,那么参数(如 GMM/EM)是更好的选择,但如果数据点的数量增加到更高的数量,那么非参数算法会更好。有人可以更详细地解释一下比较吗?

1个回答

考虑到从类似实例中观察到的模式,非参数机器学习算法试图对数据做出假设。通过不做假设,他们可以自由地从训练数据中学习任何函数形式,因此是灵活的。

与参数数量固定的参数方法不同,在非参数方法中,参数的数量随着训练数据的增加而增长。

如果您的数据集太小或无法代表整个群体,那么您的结果将比参数方法更容易产生偏差。为了在非参数机器学习算法中获得更好的结果,我们需要大量数据,其中特征之间的关系未知。

高斯混合模型 (GMM) 基本上是具有概率聚类分配的 k 均值聚类,因此它取决于组件/聚类的数量作为参数,而在 KDE 中,自由参数是指定放置在每个点的分布形状的核以及控制每个点的内核大小的内核带宽。

请参阅此博客以更好地可视化 KDE。