您可以在其中定义满足一些属性（距离是正的、对称的和相加的）的“距离”函数的任何集合。称为度量空间。$\mathbb{R}^k$是一个度量空间，其距离函数通常定义为$d(\mathbf{x},\mathbf{y}) = |\mathbf{x}-\mathbf{y}|$，差异的范数（尽管我们可以使用我们想要的任何距离函数，只要它满足 3 个属性，稍后会详细介绍）。

范数定义为$|\mathbf{x}| = \sqrt{\sum_{i=1}^n x_i^2}$. 你可能会认为那里看起来很熟悉。所以如果你有一些观察值$\mathbf{x}=x_1,\ldots,x_n$如果我们找到你的观测值和它们的平均值之间的距离，$\mu$我们有$d(\mathbf{x},\mu) = |\mathbf{x}-\mu| = \sqrt{\sum_{i=1}^n (x_i-\mu)^2}$这几乎就像标准偏差（缺少一个$1/n$或者$1/(n-1)$. 但是，我们可以轻松地将距离函数重新定义为$d(\mathbf{x},\mathbf{y}) = +\sqrt{1/n}|\mathbf{x}-\mathbf{y}|$它仍然具有制作所需的三个属性$\mathbb{R}^k$一个度量空间。

您可能更熟悉二维空间中的距离，例如$\mathbb{R}^2$. 在这个空间中，我们可以使用与上面相同的距离函数，但因为不是$k$我们只有 2 个组件，公式简化为$d((x_1,y_1), (x_2,y_2)) = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$