我从来没有使用过需要数周或数月训练的非常大的模型,但是在这种情况下,如果你想添加额外的特征输入会发生什么,你是否需要从头开始重新训练整个模型,或者如何处理了吗?例如,如果特斯拉为其汽车添加了一个额外的传感器,它是否需要从头开始重新训练其网络以包含这个额外的传感器输入?
添加输入特征 - 是否需要完整的重新训练?
人工智能
人工智能设计
训练
2021-11-18 07:58:51
1个回答
我将尝试解释我将如何做到这一点以及它背后的直觉,如果有什么不合理的地方,请随时纠正我。假设您有一个形状为 F 的输入,其中 F 是特征数。如果要构建一个简单的前馈神经网络,则需要将输入乘以形状为 (F, hidden_dim) 的权重矩阵。现在,如果我们想再添加一个特征,输入将是 F+1 形状,并且与第一层的乘法将不起作用。为了克服这个问题,我们可以做的是用额外的 0 填充权重矩阵。理论上,新网络应该能够重现第一个的结果,因为它忽略了新特征。现在,如果我们想了解新功能的“重要性”,我们可以训练模型来做到这一点。
其它你可能感兴趣的问题