我似乎有一个可行的解决方案，使用这个对平方损失的小调整：

$L=(y-\hat{y})^2 \cdot \left(\frac{y}{y + \epsilon}\right)$

在哪里$y$是标签和$\hat{y}$是预测，并且$\epsilon=1e-6$ 是为了避免除以零错误（它是〜32位精度内的最小数字）

在张量流中：

epsilon = 1e-6
loss = tf.reduce_sum(
          tf.mul(tf.square(prediction - label),
                 tf.div(label, label + epsilon))
)

当标签为 0 时，第二项为 0（例如，损失为 0，并且没有为该样本添加梯度），当标签不为零时，它会四舍五入到 1 或足够接近。只要标签的范围不超过 0，这应该可以工作，如果默认情况下不是这样，那就是缩放标签的简单问题。

比我在 2017 年发布的更简单的答案是将损失函数乘以 {1,0} 掩码。当你乘以 0 因为时，这将使梯度归零0dx = 0，而当乘以 1 因为时，它不会改变任何东西1dx = dx。{1,0} 掩码是一个常数，与输入到模型的标签相同。