我想了解更多不同模型(特别是 NN 和 RF,但也包括其他模型)如何考虑表格数据中特征之间的交互?
例如,模型能否在训练时发现“虽然特征 1 可能与响应不直接相关,但当特征 1 较低时,特征 2 在预测响应方面非常有效”。因此,经过训练的模型将使用两个特征之间的交互并相应地对它们进行加权,即。当示例中的特征 1 较低时,权重特征 2 较高。
我想了解更多不同模型(特别是 NN 和 RF,但也包括其他模型)如何考虑表格数据中特征之间的交互?
例如,模型能否在训练时发现“虽然特征 1 可能与响应不直接相关,但当特征 1 较低时,特征 2 在预测响应方面非常有效”。因此,经过训练的模型将使用两个特征之间的交互并相应地对它们进行加权,即。当示例中的特征 1 较低时,权重特征 2 较高。
神经网络 (NN) 通过隐藏节点的非线性加权对特征交互进行建模。
随机森林 (RF) 是基于树的模型。基于树的学习特征交互通过递归、条件分割。在您提到的示例中,基于树的模型将学习在特征 1 上进行拆分,然后在特征 2 上进行拆分。