原标题：算法偏见易纠，人类偏见难改

来源：AI 研习社          链接：https://www.yanxishe.com/TextTranslation/2293

在15年前发表的一个研究中，有两个人申请同一份工作。他们的简历极其相似。一个叫Jamal，另一个叫Brendan。

而在今年发表的一个研究中，两名寻求医疗护理的患者都在与糖尿病和高血压作斗争。一个是黑人，另一个白人。

这两个研究都记载了种族不平等。第一个研究中，名字听起来像黑人的申请者得到的面试机会更少。在第二个研究中，黑人病人被区别对待。

但他们的核心有所不同。第一种情况下，HR做出了带有偏见的决定。第二种情况下，罪魁祸首却是一个电脑程序。

作为这两项研究的合著者，我把它们作为对比中显现的教训。它们同时显示了两种偏见之间的显著差异：人类偏见和算法偏见。

我和Marianne Bertrand，芝加哥大学的一位经济学家进行了第一项研究：我们用虚构的简历去回应实际的工作列表，简历的一半随机分配了一个明显的黑人名字。

这项研究是:“Emily和Greg比Lakisha和Jamal更适合受雇吗?”

答案是肯定的，而且差距非常大。仅仅是一个白人名字，就能让求职面试的回复率增加50%。

在10月下旬，我与几位合著者在Science杂志上发表了另一项研究，他们分别是Ziad Obermeyer，加州大学伯克利分校(University of California at Berkeley)的卫生政策教授；Brian Powers，Brigham and Women’s Hospital的临床研究员；还有Christine Vogeli，哈佛医学院的医学教授。我们关注的是一种广泛用于分配卫生保健服务的算法，这种算法已经影响了美国的大约1亿人。

为了更好地进行靶向护理并提供帮助，卫生保健系统正求助于大量数据和精心构建的算法，用以识别病情最严重的患者。

我们发现这些算法有一种固有的种族偏见。在疾病的相似水平上，黑人患者被认为比白人患者的风险更低。这种扭曲的量级是巨大的，消除算法上的偏见将使接受额外帮助的黑人病人数量增加一倍以上。问题在于一个微妙的预设选择，为了测量“疾病”，他们使用了最容易获得的数据：医疗支出。但是因为社会在黑人病人身上的花费比同等情况的白人病人要少，这个算法低估了黑人病人的真实需求。

这些研究的一个不同之处在于需要做必要的工作来发现偏见

我们在2004年的简历研究更像是一个复杂的秘密行动，而不是传统的学术研究。我们每天都会创建大量的虚构简历，并搜集所需的帮助。我们给每一份offer以传真的方式发简历(是的，研究是很久以前的事了)，并通过语音信箱设立电话号码。然后，我们等待潜在雇主的回电。

这种情况持续了好几个月，直到我们终于有一个数据点可以分析。要准确指出某一特定人群的歧视行为，此案例中指的是招聘经理，通常是非常困难的。

相比之下，发现算法歧视要简单得多。曾有一个统计练习——相当于问算法“你会对这个病人做什么?”成千上万次，然后描绘出种族差异。这项工作是技术性的，是程式化的，既不需要偷偷摸摸，也不需要智谋。

人类在某种程度上是高深莫测的，而算法则不然。我们对自己行为的解释是在事实发生后改变和构建的。要衡量人们的种族歧视，我们必须在只有种族差异的现实世界中创造可控的环境。对于一个算法，我们可以通过给它输入正确的数据和观察它的表现来创建一个同样受控制的算法。

一旦发现偏见，算法和人类在如何处理偏见的问题上也存在分歧。

通过我们的简历研究发现，解决该问题非常困难。一方面，尽管最近的研究找到了发现歧视的巧妙方法，但发现偏见并不能告诉我们任何一家公司是有过错的。

另一个问题更根本：改变人们的心灵并非易事。例如，似乎隐性偏见训练充其量只产生一点影响。

相比之下，我们已经建立了一个原型，该原型可以解决我们发现的算法偏差，就像原始制造商一样，我们得出的结论是，最初他们无意产生偏差结果。我们使用这些算法为卫生系统提供了一项免费服务，以帮助构建一个没有种族偏见的新系统。

更改算法比更改人员更容易：计算机上的软件可以更新；迄今为止，我们大脑中的“湿软件”已被证明不那么可改变。

这些都不是要减少修正算法偏差所需的陷阱和关注。但是，与人为的偏见相比，它看起来确实简单得多。

通过算法进行区分可以更容易发现和更容易解决。在2018年与Cass Sunstein，Jon Kleinberg和Jens Ludwig的论文中，我持谨慎乐观的观点，并指出通过适当的监管，算法可以帮助减少歧视。

但是这里的关键词是“适当的监管”，我们目前还没有。

我们必须确保仔细存储算法的所有必要输入，包括用于测试和创建算法的数据。在保存和记录的同时，还要保留所涉公司的商业秘密，在金融市场中已经需要非常类似的东西。我们将需要一个资金雄厚的监管机构，配备训练有素的审计师来处理这些数据。

一旦制定了适当的法规，更好的算法将有助于确保社会公平待遇，尽管它们无法解决困扰美国的深刻结构性偏见。纠正社会的偏见并不比纠正人的偏见容易。

在阅读了我们关于健康算法偏见的报告后，父亲提到了我儿时发生的一件趣事。当我八九岁的时候，我们要去西尔斯（Sears）拍摄全家福。我们刚从印度来到洛杉矶。我在印度长大，那里的照片很少但感觉都很新颖，这是一次特别的旅行。我记得我妈妈为这个场合穿了一件漂亮的纱丽。

一位摄影师拍摄了我们的照片，几天后，我们在家中打开信封，却发现里面很令人失望。 因为我们的脸几乎看不见， 只有我们牙齿和眼睛可以看见。 后来，我们得知该设备针对白皮肤进行了校准，因此许多皮肤较黑的人在被拍照时都会有变成这样。

我父亲进行了详细的沟通。 照片开发人员和算法开发人员犯了相同的错误：未能意识到可能使用其设备的人员的多样性。

这个比喻可以更进一步：我们的简历研究类似于发现摄影师本身有偏见。

那将是一个不同的问题。 修好不能识别深色皮肤的相机比修好看不到深色皮肤的摄影师要容易得多。

Sendhil Mullainathan是芝加哥大学行为与计算科学教授。 

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com