我正在尝试训练神经网络模型来解决回归问题。我的数据集的特殊性在于它具有目标值的指数分布（不平衡）。因此，例如，该模型似乎只输出小于 2 的值（如果范围是 [0,6]），并且它绝对忽略了较大的目标值，这些值在数据集中具有较小的性能。在这种情况下如何改进模型的结果？

例如，当涉及到多类分类时，我们可以权衡对较小类的错误的惩罚，以提高不平衡数据的性能。在回归方面有什么技巧吗？哪些损失函数可能有用？看起来，MSE 损失函数比 RMSE 更可取。这个问题是不是更强大的损失函数？

有一篇关于这种不平衡回归问题的论文（http://proceedings.mlr.press/v74/branco17a/branco17a.pdf）可能对某人有帮助。但是，我对神经网络的特殊技巧更感兴趣，而不是预处理方法（例如，我无法生成更多数据）。