我想澄清一下，你只能从测试数据集中挑选 100 个盒子这一事实不是限制（就像你描述的那样）。你只需要从这个角度来看它：

如何挑选最有可能含有黄金的 100 个盒子（从 500K 中取出）？

一个非常合适的算法是决策树分类器。通过使用信息增益（基于熵减少），它可以了解哪些特征可以更准确地将数据集分为两类，即包含黄金的一类和不包含黄金的一类，并忽略（修剪）最弱的属性。之后，您不仅将拥有一个训练有素的分类器，还将深入了解哪些特征对做出决定最重要（非常重要的信息）。

至少有两种方法：

1. 训练数据的子样本。100 个正例，只有 100 个负例（从所有负例中随机抽取）。
2. 创建一个 2 通系统。1st pass 使用高召回率算法，选择合理的选项（排除不合理的选项）。第二遍是一种高精度算法。它只查看可能的选项并选择最可能的选项。

很好的问题，是的，有可能（正如您在第 2 点中提到的那样）重新加权您的损失函数以实现您的目标。事实上，对子样本的训练是这种情况的一个特例。但是，我们首先必须假设您的损失函数是加法可分的（95% 的流行机器学习模型都是这种情况）。

假设您的损失函数是 $f$ 你的模型参数是 $x$. 然后，得到你的最佳模型参数$x_*$, 你会解决问题

$$x_* = \text{argmin}_x f(x)$$

现在让我们说 $f$ 是加法可分的

$$f(x) = \sum_i^n f_i (x)$$

在哪里 $i$索引数据集中的观察结果——线性回归、逻辑回归、SVM 等都是这种情况。嗯，自然是这样的

$$x_* = \text{argmin}_x f(x) = \text{argmin}_x \sum_i^n f_i(x) = \text{argmin}_x \sum_i^n \alpha_i f_i(x)$$

在哪里 $\alpha_i = 1$ 对所有人 $i$. 你可以想到$\alpha_i$的重要性_$i^{th}$ 观察：如 $\alpha_i$ 变大，你本质上是在偏置参数 $x_*$朝着那个观察。事实上，如果你设置$\alpha_i$ 否定，然后观察 $i$现在被视为模型的反例。什么时候$\alpha_i$ 设置为 0，就好像你在没有观察的情况下训练你的模型 $i$ 包括 - 如其他答案中所述，从模型中扣留数据的特殊情况。

您可以操纵权重集 $\{\alpha_i\}_1^n$如果您有理由相信并非数据集中的所有观察结果都同等重要。一个真实世界的例子是设置$\alpha_i$与某些欺诈事件造成的金钱损失成正比。然后，该模型不仅试图准确预测欺诈，而且更准确地预测代价高昂的欺诈事件。