我在多篇文章中多次看到,非参数技术会受到维数诅咒,这可能会导致这些方法的失败。为什么会这样?能给我举个例子吗?谢谢!
维度灾难和非参数技术
机器算法验证
非参数
降维
2022-04-18 17:51:57
2个回答
想象一下效果不是累加的。想象一下,我们只需要担心每个预测变量的两个值, Low 和 High。然后会有值我们的函数需要提供估计。在实践中,每个维度有两个以上的值需要担心。
继格伦的回答之后,我认为从高维空间的体积/浓度方面考虑问题是件好事。直接来自维基百科文章:
与向数学空间添加额外维度相关的体积呈指数增长。例如, =100 个均匀分布的采样点足以采样一个单位间隔(“一维立方体”),点之间的距离不超过一个 10 维单位超立方体的等效采样,其格子的相邻点之间的间距为 =0.01,需要个采样点。
所以基本上随着维度的增加,提供相同空间覆盖所需的点数随着维度呈指数增长。
这意味着对于依赖于局部点来作为估计器基础的非参数方法,随着体积的爆炸,需要更多的点。
诅咒也经常被认为是试图估计高维函数的计算可行性,如果你还在寻找洞察力,也许你可以研究一下。
其它你可能感兴趣的问题