$k$-NN 没有可以在训练期间最小化的损失函数。事实上，这个算法根本没有经过训练。唯一发生的“培训”$k$-NN，正在记忆数据（创建本地副本），以便在预测期间您可以进行搜索和多数投票。从技术上讲，没有适合数据的函数，因此没有进行优化（不能使用梯度下降进行训练）。

作为已接受答案的替代方案：

每个统计算法都会显式或隐式地最小化某个目标，即使没有参数或超参数，即使最小化不是迭代完成的。kNN 非常简单，以至于人们通常不会这样想，但您实际上可以写下一个明确的目标函数：

这说明了预测的类$\hat{t}$为了一点$\hat{x}$等于类$\mathcal{C}$最大化其他点的数量$x_i$在集合中$k$附近点$N_k(\{x\}, \hat{x})$也具有相同的类别，由$\delta(t_i, \mathcal{C})$这是$1$什么时候$x_i$正在上课$\mathcal{C}$,$0$除此以外。

以这种方式编写它的好处是，人们可以看到如何通过接近加权点来使目标“更柔和”。关于“训练”，这里没有适合的参数。但是可以调整距离度量（用于定义$N_k$) 或此总和中的点的权重，以优化一些额外的分类目标。这导致邻域成分分析：https ://www.cs.toronto.edu/~hinton/absps/nca.pdf学习距离度量。