机器学习中不一致的意思是什么以及为什么众所周知 1NN 不一致

数据挖掘 机器学习
2022-03-10 17:34:34

我真的需要帮助来理解机器学习中一致性的含义,为什么它很重要,以及为什么 1NN 被认为是不一致的。

谢谢

1个回答

机器学习或统计中任何算法的一致性意味着假设您在无限量的数据上进行训练,您的算法将收敛到您估计的真实值。这意味着如果您将无限数据集输入算法,您的错误将收敛到 0

现在关于 1NN:1NN 有一个重要特性:当提供无限训练示例时,1NN 的错误率收敛到贝叶斯错误两倍的极限。现在,如果您采用上面的定义并匹配 1NN 的属性,您将看到它不一致的原因。

有关该属性的证明,请参见他的论文:http: //cseweb.ucsd.edu/~elkan/151/nearestn.pdf