是否可以在训练 DNN 之前做 K-nearest-neighbors

人工智能 神经网络 深度学习 学习算法 贪心的爱 象征性的ai
2021-11-03 12:17:20

通过 K-nearest Neighbor 算法可以很好且超快速地分离以下 X 形交替图案（请访问https://ml-playground.com进行测试）：

x 形数据的图像

然而，DNN 似乎面临着分离 X 形交替数据的巨大困难。是否可以在 DNN 之前做 K-nearest，即。在进行 DNN 训练之前以某种方式设置 DNN 权重以模拟 K-nearest 的结果？

另一个测试 X 形交替数据的地方：https ://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

1个回答

有两个因素会改变深度神经网络适应给定数据集的能力：要么需要更多数据，要么需要更深更广的网络。由于模式只是二维的，它很可能用某种简单的周期函数来近似。DNN 可以很好地逼近周期性函数，因此问题可能是您没有足够的数据。

如果您有一个先验信念，即该模式可以很好地被 K 最近邻近似，那么您可以执行以下操作：

  1. 将 K-NN 模型拟合到数据中。
  2. 产生N来自输入空间的随机均匀的新点。
  3. 标记N使用 K-NN 模型的新点。
  4. 将 DNN 拟合到原始数据集，加上N新点。
其它你可能感兴趣的问题
上一篇为什么批量梯度下降的性能比随机和小批量梯度下降差？ 下一篇如何确定哪些变量/特征之间的关系最强？