您正在做的是基于测试集的手动特征选择。你是对的，这样做是不正确的：理论上，特征选择应该只使用训练集和验证集，而不是最终的测试集。风险在于数据泄漏：您正在使用来自测试集的信息修改模型。如果在测试集上没有这些特性，性能可能会更好，因为它们碰巧对这个特定的当前测试集不利。结果，模型可能会过拟合，并且您将无法在此测试集上检测到此问题，因为它是过拟合的根源。

所以原则上最好先分离数据，将测试放在一边，直到最终评估，并使用验证集进行中间评估，直到确定最终模型（包括特征集）。

在实践中，有时我们会意识到在将模型应用于最终测试集之后我们应该做一些不同的事情。这是一个错误，但这不是世界末日，通常偏见的风险很低。正如您所说，显然我们不必忽略对模型性能很重要的信息。但是，如果您知道要使用多个功能重复此过程，则绝对应该使用单独的验证集（取自训练数据）而不是测试集来执行此操作：像这样使用测试集的次数越多，数据泄露和偏差的风险越高。

这是通常被称为“数据泄漏”的一个很好的例子——你正在将测试集的信息流回你的模型集。一定程度的这种情况是不可避免的，这就是为什么（尤其是对于深度学习）问题数据科学家经常将数据集拆分为训练、验证和保持集的原因。验证/测试集用于在使用最终保持集评估准确性之前进行您正在谈论的那种简约模型调整。

顺便说一句，听起来你是对的，海拔可能是一个过拟合的特征。在不完全丢失实际高程信息值的情况下解决该问题的一种方法是将要素转换为箱，每个箱中可能包括多个观察值。