假设有一个具有位置、速度、加速度特征的球。
这三个都连接为我的神经网络的输入。
但是,我有先验知识,位置比其他功能更具预测性。
我如何比其他人更强烈地加权位置特征?只是对它应用一个大的标量系数作为预处理工作吗?好像没有原则...
假设有一个具有位置、速度、加速度特征的球。
这三个都连接为我的神经网络的输入。
但是,我有先验知识,位置比其他功能更具预测性。
我如何比其他人更强烈地加权位置特征?只是对它应用一个大的标量系数作为预处理工作吗?好像没有原则...
如果您正在训练神经网络,它应该学习正确的权重以使用最具预测性的特征而不受任何干扰。对于与较弱特征匹配的强预测特征,大多数 NN 将很快学习更强的关联。我不确定是否有一种简单的方法可以将其添加为先验。你可以做一些事情,比如在一个或多个隐藏层中注入最有影响力的特征,但这看起来确实很丑,而且只有在预测特征与输出有某种类型的关系时才真正有帮助(如果有很强的线性关系)。
训练问题通常是相反的方向——如何从噪声更大、影响力更小的特征中提取少量信息,这些特征可能仍会叠加,有时与主要预测器相矛盾。
在这种情况下(主要是解决使用不太可靠的特征的问题),神经网络唯一想到的可能是残差神经网络的架构。跳过连接的使用以这样一种方式构建神经网络,即在添加层时鼓励默认的“什么都不做”身份函数,这允许将弱但复杂的关系与更强的简单关系结合起来。与更改网络超参数以找到与其他 NN 的最佳拟合相比,残差 NN 可以以更少的妥协来做到这一点。
然而,残差神经网络有利于管理问题中表现出的不同程度的复杂性,这不一定与特征之间不同程度的预测能力相同。
只是对它应用一个大的标量系数作为预处理工作吗?
不,这对于训练神经网络通常会适得其反。相反,您应该对所有输入进行归一化 - 神经网络的一种常见且有效的技术是确保每个特征都经过缩放和偏移,使其均值为 0,标准差为 1。