这不是对您问题的回答，而只是一些太长而无法放入评论的想法。

我认为在考虑这些问题时我们必须考虑的一个问题是每个模型都会区分，并且它们会根据数据中存在的任何关联来区分。这可以说是预测模型的全部目的。例如，男性确实比女性更有可能犯罪，因此几乎任何能够获得这些信息的模型都会得出这样的推论。

但这并不意味着我们应该部分地根据性别定罪，即使一个男人通常看起来更有可能犯罪（其他条件相同）。相反，我们在做出此类决定时应该要求提供犯罪的直接证据，而不是单纯的关联信息。再举一个例子：更容易生病的人真的应该支付更高的保险费吗？

因此，当谈到歧视时，我认为这个问题更多地涉及道德应用，而不是模型本身不公平。如果我们担心在特定情况下使用模型时会导致歧视或其他不公平结果，那么也许我们不应该使用模型。

我曾经参与过一个开发软件管理最佳实践的项目。我观察了该领域大约 50 个软件团队。我们的样本大约是 77 个，但最终我们看到了大约 100 个团队。除了收集诸如证书、学位等方面的数据外，我们还收集了各种心理和人口统计数据。

软件开发团队在其中有一些非常显着的自我选择效应，虽然与性别无关，但与性别密切相关。此外，管理者倾向于复制自己。人们雇用他们感到舒服的人，他们对自己最舒服。还有证据表明，人们被以认知偏见的方式进行评分。想象一下，作为一名经理，我非常重视在工作开始时及时到达。然后我会对此进行评分。另一位只关心工作完成的经理可能会认为完全不同的事情很重要。

您注意到男性使用语言的方式不同，但不同性格的人使用语言的方式也不同。也可能存在种族语言使用差异，例如，参见当前哈佛和亚洲招生的争议。

现在您假设软件公司歧视女性，但在软件开发行业中还有另一种形式的性别歧视正在发生，您没有考虑到这一点。当你控制诸如证书、学位、任期等客观因素时，女性的平均收入比男性平均高 40%。世界上存在三个就业歧视的来源。

首先是经理或所有者不希望根据某些特征雇用某人。第二个是同事不希望与具有该功能的人一起工作。三是客户不想要有特色的人。看来工资歧视是由客户引发的，因为工作产品不同，从客户的角度来看，也更好。同样的特点导致男性牙科保健员的工资低于女性。这也体现在世界足球工资中对“出生在这里”的偏见。

对此的最佳控制是了解您的数据和所涉及的社会力量。任何使用自己数据的公司都倾向于自我复制。这可能是一件非常好的事情，但也可能使他们对工作中的力量视而不见。第二个控制是了解你的目标函数。利润可能是一个好的功能，但它可能是一个坏的功能。在选择目标损失函数时有一些价值在起作用。最后，还有一个问题是根据人口统计数据测试数据，以确定是否正在发生不幸的歧视。

最后，这是一个更大的问题，例如 AI，您无法获得良好的解释性统计数据，您需要控制 Yule 悖论。经典的历史例子是发现 44% 的男性被加州大学伯克利分校录取，而 1973 年只有 35% 的女性被录取。这是一个巨大的差异，具有统计学意义。这也具有误导性。

这显然是可耻的，所以大学决定看看哪些是违规专业。好吧，事实证明，当你控制专业时，有一个统计上显着的偏向于录取女性。在 85 个专业中，有 6 个偏向于女性，4 个偏向于男性，其余的并不重要。不同之处在于，女性申请竞争最激烈的专业的比例不成比例，而男女中很少有人进入。男性更有可能申请竞争较弱的专业。

加上尤尔的悖论，为歧视创造了更深的层次。想象一下，不是性别测试，而是按工作类型进行的性别测试。您可能会通过公司范围内的性别中立测试，但在任务级别上不及格。想象一下，V&V 只招聘女性，系统管理只招聘男性。你会看起来性别中立，但你不会。

对此的一种潜在解决方案是运行具有竞争力的 AI，这些 AI 使用不同的“好”客观标准。目标是扩大网络，而不是缩小网络。这也有助于避免管理文献中的另一个问题。虽然 3% 的男性是反社会人士，但随着您在公司阶梯上的地位越来越高，这个数字会大幅上升。您不想过滤反社会人士。

最后，您可能不想考虑将 AI 用于某些类型的职位。我现在正在找工作。我也确定我被过滤掉了，我还没有弄清楚如何绕过它。我正坐在一项极具颠覆性的新技术上。问题是我的作品与魔术字不符。相反，我有下一组魔术词。现在，我对合适的公司很有价值，但在我申请的一个案例中，不到一分钟我就收到了自动拒绝。我有一个朋友曾担任联邦机构的首席信息官。他申请了一份工作，招聘经理正在等待他的申请通过，所以他几乎可以得到这份工作。它从未通过，因为过滤器阻止了它。

这就提出了人工智能的第二个问题。如果我可以从亚马逊正在招聘的在线简历中找出答案，那么我就可以对我的简历进行魔术词了。事实上，我现在正在处理我的简历，以使其适合非人类过滤器。我还可以从招聘人员的电子邮件中看出，我的简历的某些部分被放大了，而其他部分被忽略了。就好像招聘和招聘过程已被 Prolog 等软件接管。满足逻辑约束？是的！这是最佳候选者或候选者集。它们是最优的吗？

您的问题没有预先构建的答案，只有需要设计的问题。

为了建立这种模型，重要的是首先了解歧视和过程结果的一些基本统计方面。这需要了解根据特征对对象进行评级的统计过程。特别是，它需要理解为决策目的（即歧视）而使用某个特性与针对该特性评估过程结果之间的关系。我们首先要注意以下几点：

• 当在决策过程中使用一个变量时，会发生歧视（在其正确意义上），而不仅仅是当结果与该变量相关时。形式上，如果过程中的决策函数（即本例中的评级）是该变量的函数，我们就该变量进行区分。

• 即使在该变量没有歧视的情况下，也经常会出现与特定变量相关的结果差异。当决策函数中的其他特征与排除变量相关时，就会发生这种情况。在排除变量是人口统计变量（例如，性别、种族、年龄等）的情况下，与其他特征的相关性无处不在，因此可以预期人口统计组之间的结果差异。

• 可以尝试通过平权行动来减少人口群体之间的结果差异，这是一种歧视形式。如果变量的过程结果存在差异，则可以通过将变量用作决策变量（即，通过区分该变量）以有利于“代表性不足”的群体的方式缩小这些差异（即决策过程中积极成果比例较低的群体）。

• 你不能两全其美——要么你想避免对特定特征的歧视，要么你想就该特征平衡过程结果。如果您的目标是“纠正”与特定特征相关的结果差异，那么请不要自欺欺人，因为您正在为平权行动的目的而进行歧视。

一旦您了解了统计决策过程的这些基本方面，您将能够在这种情况下制定您的实际目标。特别是，您需要决定是否需要一个非歧视性流程，这可能会导致不同组的结果差异，或者您是否需要一个旨在产生平等流程结果的歧视性流程（或类似的东西）。从道德上讲，这个问题模仿了关于非歧视与平权行动的辩论。

假设我想建立一个统计模型来预测个人数据的一些输出，比如帮助招募新人的五星级排名。假设我也想避免性别歧视，作为一种道德约束。给定除了性别之外的两个严格相等的配置文件，模型的输出应该是相同的。

很容易确保模型给出的评级不受您要排除的变量（例如，性别）的影响。为此，您需要做的就是删除该变量作为模型中的预测变量，以便在评级决策中不使用它。这将确保两个严格相等的配置文件（除了该变量）被视为相同。但是，它不一定确保模型不会基于与排除变量相关的另一个变量进行区分，并且通常不会导致性别之间的结果相同。这是因为性别与许多其他可能在模型中用作预测变量的特征相关，因此我们通常预计即使在没有歧视的情况下结果也是不平等的。

关于这个问题，区分固有​​的性别特征（例如，站着小便）与仅与性别相关的特征（例如，具有工程学位）是有用的。如果您希望避免性别歧视，这通常需要删除作为预测变量的性别，并删除您认为是固有性别特征的任何其他特征。例如，如果求职者碰巧指定他们是站着小便还是坐下小便，那么这是一个不严格等同于性别的特征，但一个选项有效地决定了性别，因此您可能会删除该特征作为模型中的预测器。

1. 我应该使用性别（或与之相关的任何数据）作为输入并尝试纠正其影响，还是避免使用这些数据？

究竟纠正什么？当您说“纠正他们的影响”时，我将假设您的意思是您正在考虑“纠正”由与性别相关的预测因子引起的结果差异。如果是这种情况，并且您使用性别来尝试纠正结果差异，那么您正在有效地参与平权行动- 即，您正在编程您的模型以积极歧视性别，以使结果更接近. 您是否要这样做取决于您在模型中的道德目标（避免歧视与获得平等结果）。

2. 如何检查是否存在性别歧视？

如果您谈论的是实际的歧视，而不是单纯的结果差异，这很容易限制和检查。您需要做的就是制定模型，使其不使用性别（和固有的性别特征）作为预测因子。计算机无法根据您未输入到其模型中的特征做出决定，因此如果您对此有控制权，则检查是否存在歧视应该很简单。

当您使用机器学习模型尝试在没有您输入的情况下自行找出相关特征时，事情会变得有些困难。即使在这种情况下，您也应该可以对模型进行编程，使其排除您指定要删除的预测变量（例如，性别）。

3. 对于具有统计学差异但出于道德原因我不想这样做的数据，我该如何纠正我的模型？

当您提到“统计判别”数据时，我假设您只是指与性别相关的特征。如果您不想要这些其他特征，那么您应该简单地将它们作为模型中的预测变量删除。但是，您应该记住，许多重要特征很可能与性别相关。在任何情况下，当具有该特征的男性比例与具有该特征的女性比例不同时，任何二元特征都将与性别相关。（当然，如果这些比例很接近，您可能会发现它们的差异不是“统计上显着的”。）对于更一般的变量，非零相关性的条件也很弱。因此，

本文很好地概述了如何克服性别偏见，尤其是在基于语言的模型中：男人对计算机程序员就像女人对家庭主妇？去偏词嵌入 - Bolukbasi 等。人。. 可以在这里找到一个不错的博客摘要：

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

您可以在此处找到更大的资源汇编：

https://developers.google.com/machine-learning/fairness-overview/

您会在上述链接中找到一系列减轻性别偏见的技术。一般来说，它们分为三类：

1）对数据进行欠采样/过采样。这是为了对高质量的女性简历进行过度抽样，而对男性简历进行抽样。

2）减去“性别子空间”。如果您的模型存在性别偏见，那么您可以通过使用简历嵌入来直接预测性别来证明这一点。在构建了这样一个辅助模型之后（即使只是对属于任一性别的常用术语进行抽样，然后应用 PCA），您实际上可以从模型中减去这个维度，将简历标准化为性别中立。这是 Bolukbasi 论文中使用的主要技术。

3）对抗学习。在这种情况下，您尝试通过生成更多版本的高质量女性简历来生成额外的数据，否则这些简历与真实简历无法区分。