如此简洁明了的描述很难确定，但这里是他可能会得到的一个镜头。

假设您有一个非常高的基数特征具有一些可能的级别。这些很难直接在模型中使用。从这样的预测器派生特征的一种方法是获取一些其他未用于训练的数据集，并计算由预测器确定的每个组内响应的平均值$x$$l_1, l_2, \cdots, l_n$

$$x'_i = \frac{1}{\# \{ x_j = x_i \} } \sum_{x_j = x_i} y_i$$

然后你可以在学习器中使用这个新的预测器，但是你已经将分类的许多二元特征简化为模型中的一个新特征。

有警告。首先，您绝对必须使用不接受训练的数据来计算组级平均值，否则您将尝试预测的内容直接泄漏到预测变量中，并且您的模型一文不值。其次，如果您希望您的模型解释任何事情，这是一种非常糟糕的方法，因为您的新预测器基本上说“y 发生在 x 上，因为 y 发生在 x 一些其他数据集上”。

如果您没有可用的数据集来计算组级平均值，那么一种非常有效的技术是将噪声添加到从您的训练数据计算的组级平均值中

$$x'_i = \frac{ \sum_{x_j = x_i} y_i + \text{laplace}(0, \alpha)} {\# \{ x_j = x_i \} + \text{laplace}(0, \alpha)}$$

其中是从拉普拉斯分布产生的随机噪声。该技术源自对差分隐私的研究。$\text{laplace}(0, \alpha)$