在我看来，正确的方法是首先随机选择观察值（例如，使用分层随机抽样来维持原始数据中的类平衡），然后进行任何模型构建（特征选择是模型构建）基于部分示例。

您应该使用尚未用于选择特征或训练模型的剩余观察值来评估模型的质量。

希望这可以帮助。

以下是我对这个问题的看法。

如果我首先选择我的特征，那么我需要一个足够大的子样本，这样模型的方差就不会产生反作用。这提出了几个重要的问题。

1. 我能否获得足够大的子样本来满足我的无偏标准？
2. 我能得到一个足够小的子样本来满足我的效率限制吗？

如果我首先选择我的子样本，那么我需要对这个子样本有用的特征，我最终需要覆盖整个特征空间。这提出了几个问题。

1. 我可以为我的子样本大小获得适当大小的特征空间吗？至少我想要一个在某个特定区域是专家的特征空间，目的是用后续的子样本和特征选择来覆盖整个特征空间。
2. 在保持效率限制的情况下，我可以处理多少个子样本？

我会根据上面积极回答的问题来选择我的方法。