假设我正在通过尝试最小化损失总和来训练多个任务的模型$L_1 + L_2$通过梯度下降。

如果这些损失的规模不同，则范围较大的损失将主导优化。我目前正在尝试通过引入超参数来解决这个问题$\lambda$，并尝试通过调整将这些损失达到相同的规模，即，我尝试最小化$L_1 +\lambda \cdot L_2$在哪里$\lambda > 0$.

但是，我不确定这是否是一个好方法。简而言之，在进行多任务学习时，有哪些应对不同尺度损失的策略？我对深度学习场景特别感兴趣。