如何为一个特定的输入特征添加权重以确保网络中的公平训练?

人工智能 机器学习 深度学习 目标函数 伦理 算法偏差
2021-10-24 13:09:40

我正在尝试基于产品评论和其他输入功能创建一个多类产品评级网络。其他两个输入特征是“产品类别”和“性别”。但是,我想避免在男性/女性之间的分类任务中出现不公平的偏见。由于某些产品类别更有可能被男性或女性评论(因此,不平衡),我正在寻找一种方法来解决这种“不平衡”之类的问题。

我目前考虑的选项和事情是:

  1. 对每个产品类别中的训练示例进行下采样以平衡性别
  2. 为性别的训练示例添加权重,或
  3. 向损失函数添加权重(对数似然或交叉熵)

尽管下采样可能是最简单的选择,但我想探索以某种方式在网络中添加权重的选项。然而,大多数文献只讨论向损失函数添加权重,以解决与目标值相关的不平衡数据(这不是我要解决的问题)。

有人可以帮助我或指出正确的方向来解决这个挑战吗?

1个回答

我认为您将其作为不平衡问题来解决的方法是正确的。您可以做的最简单的事情是在训练期间为样本添加权重,以便模型“更加关注”代表性不足的类。

还有其他几种方法可以做到这一点:过采样和欠采样,但最初,我会专注于添加权重,因为它更容易实现。