“伦理AI”的发明：大型科技企业如何操纵学术界以规避监管

Rodrigo Ochigame

本文最初于2019年12月20日发表于 The Intercept，获作者许可在此转载。¶

笼罩着麻省理工学院媒体实验室前主任伊藤穰一（Joichi Ito）的伦理丑闻，其讽刺之处在于，他过去曾领导有关伦理的学术项目。在他与金融家 Jeffrey Epstein 的资金关系曝光后，伊藤辞去了在麻省理工学院的多项职务、哈佛法学院的客座教授职位，以及 John D. and Catherine T. MacArthur Foundation、John S. and James L. Knight Foundation 和纽约时报公司的董事职务。Epstein 被控贩运未成年少女进行性交易，其中最小的只有14岁。¶

许多旁观者不解，伊藤为何能作为人工智能伦理学者发挥如此大的影响。实际上，他推动的项目对于确立“伦理AI”话语至关重要，而如今这种话语在学术界与主流媒体中无处不在。2016年，时任总统 Barack Obama 称他为AI与伦理方面的“专家”。自2017年起，伊藤通过规模为2700万美元的人工智能伦理与治理基金资助了许多项目；该基金以麻省理工学院媒体实验室和哈佛大学伯克曼·克莱因互联网与社会研究中心为依托。这一切关于“伦理”的讨论，究竟是怎么回事？¶

我曾在媒体实验室伊藤的AI伦理小组担任研究生研究员，为期14个月。我于2019年8月15日停止了这项工作，就在伊藤首次就自己与 Epstein 的关系发表“道歉”之后。在道歉中，他承认既为媒体实验室，也为自己在校外的风险投资基金接受了这位金融家的钱。他没有披露，在这些资金往来发生时，Epstein 已在佛罗里达州对一项涉及儿童卖淫的指控认罪；他也没有披露自己采取了许多措施，让 Epstein 的名字不出现在正式记录中——这些后来才由《纽约客》揭露出来。¶

受到举报人 Signe Swenson 及其他发声者的鼓舞，我决定报道自己所了解到的、伊藤在塑造AI伦理领域中所扮演的角色，因为这事关公共利益。这一领域的出现是近来的现象：过去，AI研究者大多对伦理研究不感兴趣。一位曾在媒体实验室工作的同事回忆说，麻省理工学院已故AI先驱 Marvin Minsky 常说：“伦理学者，就是不管你心里想什么都要挑出问题的人。”^[1] 那么，AI研究者为什么突然开始谈论伦理了？¶

在媒体实验室，我了解到，主要由伊藤倡导的“伦理AI”话语，在策略上配合着硅谷的一项行动，其目的在于避免有争议的技术受到具有法律强制力的限制。参与这一行动的关键团体之一，媒体实验室也是其成员，在加利福尼亚州提出了政策建议；这些建议与我同几位实验室同事开展的研究所得结论相矛盾。我们的研究使我们反对在决定是否于审判前羁押某人时使用计算机算法。伊藤本人后来在与金融和科技界高管的私下会议中也抱怨，该团体的建议无异于对棘手伦理问题的“粉饰”。他向一位亿万富翁吐露，在羁押决定中，“我们试图阻止使用那些看起来不太管用的算法，而他们却把我们想说的话冲淡了”。¶

我还亲眼看到麻省理工学院帮助美国军方把无人机战争的道德复杂性搁置一旁：学校举办了一场由前国务卿、臭名昭著的战争罪犯 Henry Kissinger 主讲的、关于AI与伦理的肤浅演讲，并为美国国防部用于战争的“AI伦理原则”提供意见。这些原则接受“可被允许的有偏见”算法，并避而不用“公平”一词，因为五角大楼认为“战斗不应该公平”。¶

伊藤没有回应置评请求。¶

在科技行业面对越来越多批评及要求法律监管的呼声之际，麻省理工学院为“大型科技企业能够自行约束其人工智能使用”这一观念增添了可信度。仅在2018年，就发生了多起争议事件：3月曝光，Facebook 将超过5000万用户的私人数据泄露给一家受 Donald Trump 总统竞选团队聘用的政治营销公司；同月曝光，Google 与五角大楼签约，提供在战区使用的计算机视觉软件；5月曝光，Amazon 向警察部门出售人脸识别技术；6月曝光，Microsoft 与美国移民及海关执法局签订合同；9月曝光，IBM 与纽约市警察局秘密合作，对监控视频中的人进行人脸识别和种族分类。在 #TechWontBuildIt（科技工作者拒绝制造这些技术）的口号下，这些公司数千名员工组织抗议、传递请愿书，反对上述合同。从 #NoTechForICE 到 #Data4BlackLives，多场草根运动要求以法律限制计算技术的某些用途，例如禁止警方使用人脸识别。¶

与此同时，企业试图转移讨论焦点，转而强调自愿的“伦理原则”、“负责任的实践”，以及用“偏见”和“公平”来表述的技术调整或“保障措施”，例如要求或鼓励警方采用“无偏见”或“公平”的人脸识别。2018年1月，Microsoft 发布了AI“伦理原则”，第一项就是“公平”。5月，Facebook 宣布“致力于合乎伦理地开发和部署AI”，并推出名为“Fairness Flow”的“寻找偏见”工具。6月，Google 公布了AI研发的“负责任实践”。9月，IBM 宣布推出名为“AI Fairness 360”的工具，旨在“检查数据集和机器学习模型中不受欢迎的偏见”。2019年1月，Facebook 拨款750万美元，在德国慕尼黑建立AI伦理中心。3月，Amazon 与美国国家科学基金会共同资助了一项2000万美元的“AI公平性”计划。4月，Google 取消了其AI伦理委员会，原因是委员会选入了右翼传统基金会主席 Kay Coles James；她公开反对跨性别者，这一任命引起强烈反弹。这些企业项目经常援引伊藤曾通过麻省理工学院—哈佛基金至少部分资助过的学术研究。¶

要说明企业的议程，有必要区分针对某项技术的三种监管可能性：（1）完全没有法律监管，“伦理原则”和“负责任实践”只靠自愿；（2）适度的法律监管，鼓励或要求进行不会与利润发生重大冲突的技术调整；或（3）限制性的法律监管，抑制或禁止部署该项技术。不出所料，科技行业倾向于支持前两种、反对最后一种。企业资助的“伦理AI”话语恰恰让这种立场得以成立。以人脸识别为例。今年，加利福尼亚州的旧金山、奥克兰和伯克利，以及马萨诸塞州萨默维尔的市级立法机关，都通过了对人脸识别技术的严格禁令。与此同时，Microsoft 却游说支持限制较少的立法，要求进行“偏见”测试之类的技术调整，其中最显著的案例发生在华盛顿州。一些大公司甚至可能比起完全没有法律监管，更喜欢这种温和监管，因为大公司更容易投入专门团队来开发符合法规要求的系统。¶

因此，硅谷大力推销“伦理AI”，构成了一场策略性的游说行动，并将学术界纳入其中，为这场行动赋予正当性。伊藤在这种企业与学术界的亲密往来中发挥了关键作用，经常与科技公司高管会面。麻省理工学院—哈佛基金的首任主任，曾是 Google AI领域的“全球公共政策负责人”。伊藤及其同事通过该基金资助了许多项目，包括创办计算机科学领域一个著名的“公平、问责与透明”会议；该会议的其他赞助者包括 Google、Facebook 和 Microsoft。¶

尽管硅谷的游说行动自2016年起凝聚了学术界对“伦理AI”和“公平算法”的兴趣，但更早以前已经有少量论文讨论这些议题，只是采用的框架有所不同。例如，Microsoft 的计算机科学家于2012年发表的论文，可以说开创了“算法公平性”这一领域。2016年，该论文第一作者 Cynthia Dwork 成为哈佛大学计算机科学教授，同时在哈佛法学院与 Microsoft 任职。2017年，我修读她在哈佛讲授的密码学与统计学数学基础课程时，访谈了她，并问她为何对研究公平的算法定义产生兴趣。据她所述，她个人长期关注歧视性广告问题，但 Microsoft 管理者鼓励她沿着这条路线开展工作，是因为公司当时正在开发一个新的在线广告系统，而提供一项“不存在监管问题”的服务会带来经济优势。（公平地说，我相信，尽管她的理念遭到了企业俘获，Dwork 的个人意图仍是真诚的。Microsoft 拒绝就本文发表评论。）¶

在麻省理工学院和哈佛迈出最初几步后，许多其他大学及新成立的研究机构也收到科技行业的资金，用于AI伦理研究。这类组织大多也由科技公司的现任或前任高管领导。例如，Data & Society Research Institute 由一名 Microsoft 研究员领导，最初获得 Microsoft 的拨款；纽约大学 AI Now Institute 由另一名 Microsoft 研究员共同创立，部分经费来自 Microsoft、Google 和 DeepMind；斯坦福以人为本人工智能研究院由一名前 Google 副总裁担任共同主任；加州大学伯克利分校数据科学部由一位 Microsoft 资深人士领导；麻省理工学院施瓦茨曼计算学院则由 Amazon 董事会成员领导。我在媒体实验室期间，伊藤与所有这些组织的高管和筹划者都保持着频繁联系。¶

大型科技企业的资金与主导作用，事实证明与对伦理的诚实探究并不相容——至少从我与“造福人类与社会的人工智能伙伴关系”（Partnership on AI to Benefit People and Society，PAI）打交道的经历来看是这样。该团体于2016年由 Microsoft、Google/DeepMind、Facebook、IBM 和 Amazon 创立。媒体实验室也是PAI的成员；PAI自称是“多利益相关方机构”，并宣称自己“不是游说组织”。在2018年4月美国众议院监督与政府改革委员会的一场听证会上，其执行主任声称，该组织仅仅是“政策制定者可以利用的资源——例如，开展研究，为AI最佳实践提供信息，探索某些AI系统的社会后果，以及围绕AI系统开发和使用的政策”。¶

不过，即使该伙伴关系的活动未必达到必须登记为游说者的法定门槛——例如，试图直接影响个别民选官员的投票——它无疑一直在寻求影响立法。例如，2018年11月，伙伴关系的工作人员邀请学术成员参与一份集体声明，针对一项刑罚改革的参议院法案（S.B. 10），向加利福尼亚州司法委员会提出意见。该法案在取消现金保释的同时，扩大了算法风险评估在审前决策中的使用，并要求司法委员会“处理评估工具中任何隐含偏见的识别与缓解问题”。伙伴关系的工作人员写道：“我们相信，有空间影响这项立法，以及更广泛的CJS［刑事司法系统］应用。”¶

2018年12月，我与媒体实验室的三位同事，对伙伴关系试图影响立法的举措提出了严正异议。我们注意到，该组织的政策建议始终与其企业议程一致。在刑罚问题上，我们的研究使我们坚决反对采用风险评估工具，也拒绝那些据称能令工具变得“无偏见”或“公平”的技术调整建议。但伙伴关系的声明草案似乎正如一位同事在发给伊藤等人的内部邮件中所说：“通过把这个问题强调为技术问题，因而可以借助更好的数据集等方法解决，来认可风险评估（RA）的使用。”第二位同事也认为：“PAI的声明很软弱，恰恰可能做出我们一直警告要警惕的事情，即通过这些由行业主导的监管举措获得正当性。”第三位同事写道：“就刑事司法方面的工作而言，PAI在这一领域的作为相当令人警惕，而且在我看来存在严重误导。我同意 Rodrigo 的看法：PAI与ACLU［美国公民自由联盟］、MIT和其他学术／非营利机构的关联，实际上最终发挥了赋予正当性的作用。无论ACLU、MIT，还是任何非营利组织，在PAI内部都没有任何权力。”¶

更糟的是，伙伴关系的建议似乎与一个反对扩大监狱规模的草根组织联盟所开展的工作不相吻合。该联盟包括“黑人的命也是命”运动、监狱废除主义团体 Critical Resistance（我曾在那里做志愿者），以及由无证移民和酷儿／跨性别青年领导的 Immigrant Youth Coalition。草根联盟指出：“认为任何风险评估工具都能够处理偏见的观点，忽视了当前与过去警务实践中的种族差异。”支持这一主张的理论与实证理由非常丰富，因为风险评估通常建立在逮捕、定罪或监禁数据之上，而所有这些数据都无法良好地代表个人行为或倾向。联盟继续说道：“归根结底，风险评估工具造成了种族定性、审前羁押和定罪的反馈循环。一个人的自由不应被化约为某种算法。”相比之下，伙伴关系的声明聚焦于“负责任部署的最低要求”，涵盖的议题包括“有效性与数据抽样偏差、统计预测中的偏差；适当预测目标的选择；人机交互问题；用户培训；政策与治理；透明度与审查；可复现性、流程和记录保存；以及部署后的评估”。¶

诚然，伙伴关系的工作人员回应了对草案的批评，在声明最终版本中指出：“在PAI成员及更广泛的AI社群中，许多专家进一步提出，倘若不举行个体化听证，就仅凭风险评估分数拘留个人，永远都不可能是公正的。”这一温顺的让步，承认了现在或许还不是单靠软件、不经法官介入或任何其他“个体化”司法程序就开始把人送进监狱的时候。这种让步之所以容易作出，是因为伙伴关系中的主要公司都不出售用于审前决策的风险评估工具：这种技术不仅争议太大，市场也太小。^[2]¶

2018年12月，我和同事们敦促伊藤退出伙伴关系。我主张：“如果学术和非营利组织想要有所作为，唯一可行的策略就是退出PAI，发表公开声明，并组成一个与之抗衡的联盟。”随后一位同事提议：“在刑事司法预测分析这一领域，许多其他组织正在从事更实质、更具有变革性的工作——把目前用于支持PAI的资金拿来支持他们的工作，会怎么样？”我们相信伊藤有足够的自主权这样做，因为麻省理工学院—哈佛基金主要由奈特基金会支持，尽管大部分资金来自科技投资者：eBay 创始人 Pierre Omidyar 通过 Omidyar Network 提供的资金，以及 LinkedIn 联合创始人、Microsoft 董事 Reid Hoffman 的资金。我写道：“如果来自非营利基金会和个人捐赠者的数千万美元，都不足以让我们采取大胆立场、站到正确的一边，那么我不知道还有什么能做到。”^[3]¶

伊藤确实承认了这个问题。他刚刚收到对冲基金 Two Sigma 联合主席、麻省理工学院校董会成员 David M. Siegel 的消息。Siegel 提议，为硅谷“搜索和社交媒体”公司建立一个自律结构，以金融业监管局（Financial Industry Regulatory Authority，FINRA）为模型；FINRA是一家私人法人机构，充当华尔街证券公司的自律组织。伊藤回应 Siegel 的提议说：“我觉得公民社会在这些行业团体中没有得到很好的代表。我们一直在参与人工智能伙伴关系，但他们会冲淡我们想表达的内容；我们试图阻止使用那些看起来不太管用的算法，例如用于审前保释的风险评分。我想，在个人数据和社交媒体方面，我对自律存在担忧。例如，一场彻底的种族灭绝［针对罗兴亚人，一个缅甸以穆斯林为主的少数族群］就是利用 WhatsApp 发生的，而 Facebook 知道这件事正在发生。”^[4]¶

然而，企业与学术界的联盟太过牢固，也太过便利。媒体实验室留在了伙伴关系中，伊藤继续与硅谷和华尔街的高管及投资者亲密交往。他把亿万富翁 Siegel 称作“潜在资助者”。我看到，在与这些人交往时，伊藤经常表达对其业务的道德忧虑，但方式很友好，因为与此同时，他正在为MIT或者自己的风险投资基金向他们要钱。对企业—学术界的“伦理学者”而言，友善的批评可以成为建立商业关系的筹码。Siegel 回复伊藤：“我很乐意与你更多地讨论这个话题。FINRA不是行业团体，它只是由行业出资。见面时我会进一步解释。我赞同你的担忧。”¶

在私下会议中，伊藤与科技公司高管相当坦率地讨论企业游说。一月，我和同事们参加了一场与 Mustafa Suleyman 的会议；他是伙伴关系的创始联合主席，也是AI初创公司 DeepMind 的联合创始人，Google 于2014年以约5亿美元收购了该公司。会上，伊藤和 Suleyman 谈到，推广“AI伦理”已变成一项“粉饰”工程，尽管他们声称自己最初的意图更为高尚。在筹备会议的消息中，伊藤对我和同事们写道：“不过，我确实知道，因为在 Mustafa 成立PAI时曾与他交谈，他本来是希望这个团体能更有实质作用，而不仅仅是‘粉饰’。我想它只是沿着这种事情通常会有的轨迹发展了。”Suleyman 没有回应置评请求。¶

不论个别行动者的意图如何，企业游说集团塑造学术研究的努力极为成功。如今以“AI伦理”为名的研究数量庞大。公平地说，其中有些研究有用而且细致，尤其是人文与社会科学领域的研究。然而，经费充足的“伦理AI”研究，大多与科技游说集团的议程一致：自愿地或适度地调整有争议技术的部署，而非以法律加以限制。五家公司，仅仅动用其预算的一小部分，怎么就能如此迅速地影响并框定这么多学科中的这么多学术活动？伊藤没有受过正式训练，却被定位为AI伦理“专家”，而这个领域在2017年以前几乎并不存在，这很奇怪。但更奇怪的是，两年之后，成熟学科中备受尊敬的学者，竟然需要证明自己与一个由企业游说集团凭空制造的领域有何关联。¶

这个领域也与美国军方发生了关系：不仅体现在官方如何回应围绕定点杀戮技术的道德担忧，也体现在硅谷公司之间对利润丰厚的军事合同的争夺中。2019年11月1日，国防部创新委员会发布了有关“AI伦理原则”的建议。该委员会主席 Eric Schmidt 在2016年时任 Alphabet（Google 的母公司）执行董事长；正是在那一年，奥巴马政府的国防部长 Ashton B. Carter 成立了该委员会并任命了他。据 ProPublica 报道：“Schmidt 在 Carter 任内的影响力已经很大，而当［James］Mattis 成为［Trump 政府的］国防部长后，他的影响力更大了。”委员会中有多位 Google、Microsoft 和 Facebook 的高管，引发了有关利益冲突的争议。一名负责监督利益冲突的五角大楼雇员，在质疑“五角大楼不仅与［Amazon 首席执行官 Jeff］Bezos，而且与 Google 的 Eric Schmidt 关系过于亲密”后，被调离创新委员会。这种关系可能为大型科技企业带来丰厚收益：AI伦理建议发布前不到一周，五角大楼刚把一份价值100亿美元的云计算合同授予 Microsoft，而 Amazon 正就此提出法律挑战。¶

这些建议试图推动五角大楼增加对AI的军事投资，并采用硅谷公司开发、出售的那类“伦理AI”系统。创新委员会称五角大楼是一个“高度合乎伦理的组织”，并提出将其“既有伦理框架”扩展到AI。为此，委员会援引 Google、Microsoft 和 IBM 的AI伦理研究小组，以及由麻省理工学院—哈佛基金资助的学者。不过，其中存在保留。例如，委员会指出，虽然“‘公平’一词经常被AI社群提及”，这些建议却避开这个词，因为“国防部的口号是战斗不应公平，国防部的目标是创造条件，对任何潜在对手维持不公平优势”。因此，“某些应用将具有可被允许、可获正当辩护的偏向”，具体而言，就是“更成功地瞄准某些敌对战斗人员”。五角大楼的AI伦理观，将许多重要的道德审议可能性排除在外，例如禁止利用无人机实施定点杀戮。¶

来自企业、学术界和军方的“伦理AI”倡导者，为了共同利益展开了密切合作。例如，伊藤告诉我，他曾非正式地建议 Schmidt，其私人基金会应当资助哪些学术界AI伦理学者。有一次，伊藤甚至来征询我的间接意见，问 Schmidt 是否应该资助某位教授；后来，该教授与伊藤一样，担任了五角大楼创新委员会的“专家顾问”。2019年2月，伊藤与 Carter 一同参加了题为“为人民而计算：伦理与AI”的专题讨论，参加者还包括 Microsoft 和 Google 的现任及前任高管。这场讨论属于麻省理工学院价值10亿美元、专门研究AI的新学院成立庆典的一部分。庆典的其他发言者包括：Schmidt，谈“为市场而计算”；Siegel，谈“我如何学会停止忧虑并爱上算法”；以及 Henry Kissinger，谈“启蒙如何终结”。当 Kissinger 宣称可能出现“一个依靠由数据和算法驱动的机器、却不受伦理或哲学规范约束的世界”时，MIT礼堂外的抗议活动则呼吁人们关注他在越南、柬埔寨和老挝的战争罪行，以及他对其他地区战争罪行的支持。在自动化瞄准的时代，美国军方又会把哪些暴行辩称为受到“伦理”规范约束，或者辩称它们由超出人类能动性与罪责范围的机器执行？¶

任何站得住脚的“伦理”主张，都不能回避以具有法律强制力的限制来约束大规模监控和系统性暴力技术部署的迫切性。在这样的限制建立之前，关于计算的道德与政治审议，将始终从属于媒体实验室口号“部署，否则就死”（Deploy or Die）所表达的逐利命令。当一些人部署技术时，即使表面上“合乎伦理”，另一些人也在死去。¶

资助披露

作者于2018年7月至2019年8月在麻省理工学院媒体实验室担任研究生研究员。撰写本报道时，作者获得麻省理工学院历史、人类学与科学、技术及社会项目的博士奖学金，以及 Jain Family Institute 的研究奖学金（资助的是另一项社会科学工作）。作者谢绝了 The Intercept 的稿酬。¶

注释