基本上我想知道的是我们是否应该将我们确信它们会影响模型结果的变量提供给模型？

或者是帮助我们了解我们不知道的事情的模型。

看情况，没有一般规律。目标当然是尽可能地预测目标变量，即最大化性能。所以问题是在以下之间找到正确的平衡：

• 只给出一些已知有助于预测目标变量的特征。在这种情况下，我们使学习算法的事情尽可能简单，以便它可以在提供的功能下以最佳方式执行。缺点：也许还有其他更微妙的迹象可以帮助算法做出更好的预测。
• 为学习算法提供大量特征。在这种情况下，我们让算法自己找到相关的迹象，希望它能捕捉到人类专家很容易错过的细微线索。缺点：太多的特征容易导致两个问题：过度拟合，当模型依赖于训练集中偶然发生的非常特定的模式时；和冗余，这也会降低某些算法的性能。

数据驱动的答案是在这两个选项之间的频谱上尝试各种特征组合，并在验证集上评估相应的模型（最好使用交叉验证以最小化机会的影响）。这可以手动完成，也可以使用特征选择/提取方法。

[为清楚起见添加：] 在不同特征集（或不同算法）之间选择最佳选项时，需要使用不同于测试集（当然也不同于训练集）的验证集，否则再次存在高估性能的风险。