非参数模型中的参数

机器算法验证 自习 参考 非参数 参数化
2022-03-27 10:31:10

我没有理解这个维基百科的声明:

参数模型和非参数模型的区别在于前者的参数数量是固定的,而后者的参数数量随着训练数据量的增加而增长。

非参数模型中的参数数量如何随着训练数据量的增加而增加?

1个回答

非参数方法不指定具有固定有限数量参数的东西(可能是分布,可能是两个变量之间的关系*);它们(可能)是无限参数的。

例如,考虑一个黄土曲线(一种非参数回归);参数不仅不明确,如果您尝试对它们进行计数,则该数字甚至不是整数。

另一方面,您永远不需要超过参数来定义观测值;大概至少在这个意义上*参数的数量随着你的增加而增加nnn

例如,考虑使用通常的 AIMSE 最优带宽选择的核密度估计;它具有有效数量的参数(例如,由 Ye 的广义自由度测量)随着不成比例)。nn

但是,由于引用了该声明(Murphy, Kevin (2012). Machine Learning: A Probabilistic Perspective. MIT),您可能应该查阅该工作以了解完整的上下文。

* 第二种也可以认为是没有指定关于分布的东西,例如条件均值的函数形式

**(尽管在其他意义上也是如此)