攫取主义伦理

Sarah Pink

导言

请随我回到开始撰写这篇有关AI、伦理与人的文章的时刻：沿着伦理报告和论文中的链接，我找到了AI4People的伦理框架。这类项目的初衷以社会福祉为本，并积极支持一个重要主张：AI需要受到监管，需要行善。但开始阅读时，我感到不自在；我知道自己即将以人类学家的眼光，批判一个力图使AI合乎伦理的议程的逻辑，而我本该与它站在同一页上（剧透提醒：请记住“同一页”这个比喻，在我请你点击之前，先别点击链接）。需要说明的是，我并非专门批评AI4People的伦理框架。这个框架只是一个例子，表明主流话语中通常用来表达人们对于合乎伦理的AI与人之善意的隐喻、叙事和结构，如何暴露出一种与日常现实错位的逻辑。我的议程，以及我的全部工作，都着眼于建立合作伙伴关系，共同走向合乎伦理的未来，而不只是写出一份以指出问题为终点的提纲。但是，要建立合作所需的联系／关系，我们必须让不同方法、学科和逻辑之间的裂缝显现出来。¶

《AI4People建设美好AI社会的伦理框架：机遇、风险、原则与建议》报告“致力于以确保人们信任、服务公共利益和加强共同社会责任的方式发展AI技术”，并提出了一系列旨在保障这些目标的建议。^[1] 报告作者包括来自哲学、法学和计算机科学等领域、专攻伦理的多位学者及业界人士，却没有人类学、定性社会学等社会科学领域的参与者。从我们目前所处的社会结构来看，报告提出的原则完全合理；但是，它用以表达观念的术语和概念，很难与人类学理解人、伦理和新兴技术的方式相协调。首先，认为AI技术的某些发展可以“确保”人们的信任，就意味着将信任视为一种固定属性，能够从人身上提取并加以捕获。其次，“公共利益”的概念对人作出一维的界定，而不是关注置身于杂乱而充满偶然性的生活之中的真实的人，尽管真实利益与日常伦理恰恰在这种生活中展开。第三，诉诸“社会责任”，使其聚焦于某个社会学的分析单位或层次，而不是生命的经验领域。也就是说，在AI4People的议程中，真实的人的经验与活动显著缺席。¶

在本章中，我主张采取一种以人为中心的方法，而这种方法必须通过与日常世界中的理论和研究相接触才能显现。我在别处曾把“技术解决主义的伦理方法界定为攫取主义：它们试图识别、捕获人类伦理价值，并将其注入机器，意图让这样的伦理机器产生信任”。^[2] 在此，我进一步展开这一论点，同时提出一个前提：要合乎伦理，AI就不应只是为了人而存在，而应与人共同设计，关注多样性、特殊性和地方性。它不应在设计完成之后才设法确保、获得或赢得人们的信任，或其他任何东西，而应从一开始就在信任关系之中创造出来，关注“日常伦理”。^[3] 我所说的日常伦理，指的是在日常生活中实际展开、并取决于其具体处境的伦理；伦理并不必然固定到能够在所有情境中一贯适用，而会受到人、物和环境之间关系的细致影响。我的定义建立在现象学人类学对伦理的理解之上，这种理解“揭示了伦理生活是一种以本体论的不确定性与伦理负荷过重为特征的境况”；^[4] 在我所实践的人类学中，伦理是不确定的，“是偶然的，涌现于日常世界和生活处境之中”。^[5] 这种伦理理解既贯穿于人类学的研究伦理，也贯穿于我们理解他人伦理的方式，因而同样涉及具有反思意识的民族志研究者自身的行动。^[6]¶

当然，AI4People并不是唯一采取这种路径的议程；它试图回答如何让AI合乎伦理，而其方案与AI当前的发展方式相一致。从某种意义上说，这是朝着伦理方向迈出的一步。但它也体现了科技产业、政府以及工程与计算机科学就如何使AI合乎伦理而提出的主流话语中，那道持续而显眼的缺口。我相信，这些学科和利益相关方都对人与AI抱有共同关切；将人——通过协作式民族志研究实践、接触和干预而相遇的人——带入讨论，可以使我们更好地回应这种关切。这意味着，我们必须确保日常的认识方式与多样性处于伦理思考的最前沿。但只需瞥一眼AI4People报告网页^[7]上的横幅（现在请打开链接），我就确信，这个页面有着明显的性别印记。虽然报告本身由男性和女性共同撰写，但这一事实似乎在横幅的视觉呈现中被抹去了。已经被大量揭露^[8]和批评的“全男小组”（manel，即全由男性组成的讨论小组）^[9]依旧存在，也凸显出我即将讨论的攫取主义伦理问题，同时会揭示技术、数据、伦理与学术界中的性别政治。¶

攫取主义伦理：开采伦理

我们用以描述数据，以及自动化、互联、智能的新兴技术和系统的隐喻，本身就是争议的场域，因此也构成了可能开展研究和干预的场域。Sally Wyatt指出，作为批判性社会科学研究者，我们需要质疑产业界和政策制定者所采用的攫取性隐喻，这些隐喻将数据界定为一种可以开采的资源。^[10] 本章提出一种相关的质疑方式：不替换这些隐喻，而是将它们应用于伦理，以考察在学者已称之为攫取主义的那些数据和AI等新兴技术路径中，伦理处于怎样的位置。^[11] 我讨论那些已受到批判性数据研究者批评的类似攫取逻辑，如何被应用于AI伦理，以及这对产业、政策和研究意味着什么。我称之为攫取主义伦理。¶

那么，攫取主义伦理是如何构成的呢？在一个层面上，如上文的例子所示，伦理成为诱饵，借以从公众或用户那里提取对技术的信任。在另一个层面上，正如我在别处讨论信任与伦理的关系时所提出的，技术解决主义的伦理方法可以被界定为攫取主义，因为“它们试图识别、捕获人类伦理价值，并将其注入机器，意图让这样的伦理机器产生信任”。^[12] 这种因果关系是工程科学呈现伦理的典型方式。一个很好的例子，是著名的麻省理工学院“道德机器”实验；^[13] 我和其他人曾在别处讨论过它，^[14] 但在这里将从一个新的方向展开。¶

“道德机器”是一款充当调查问卷的游戏，试图从全球数千名参与者那里提取道德判断：参与者要对在线呈现的一系列未来自动驾驶汽车情境作出判断，这些情境以“电车难题”为基础——在这个哲学难题中，游戏参与者必须决定，在事故中，电车应当在若干可能的受害者里撞死谁。游戏被用来从玩家那里提取伦理，或许并不令人意外。Sheila Jasanoff在更广泛地讨论社交媒体时指出，这类技术通过“开采人们的思想、言语、习惯、身体和情感，把它们作为资源，创造新的可销售商品”，从而“从人身上获利”。^[15] Edmond Awad及其同事（全部为男性），与前面讨论的AI4People作者一样，怀有良好意图。他们关注文化差异，并提出：“我们可以把机器伦理的挑战看作独特的机遇，由共同体一道决定我们认为什么是对、什么是错；并确保机器不同于人类，能够毫无差错地遵循这些道德偏好。”^[16] 再次强调，我并不主要反对这种愿望；我反对的是一种伦理理解，它与全部人类学证据脱节，而这些证据说明，伦理实际上是在日常生活充满偶然性的处境中展开的。正如哲学家Onora O’Neill强调的，用调查或民调量化人类的感受、情感状态和取决于具体情境的决定，存在局限。例如，有关公众信任的民调“无法提供证据，说明人们在针对特定事项决定信任或拒绝信任特定个人或机构时作出了怎样的判断；在这类判断中，他们往往会相当仔细地区分具体情况”。^[17] 同样值得质疑的，是通过人们对不大可能发生的伦理困境的回答而获得的伦理知识的地位：这些回答随后脱离了其来源，而没有被置于伦理实际展开的真实情境之中。¶

如前所述，把伦理理解为依情境而定，意味着日常伦理是难以捉摸的：它们极难被捕获、被注入组织或机器之中，或被监管。因此，认为可以解决AI嵌入日常生活之后才出现的伦理问题，这种假设的适用范围是有限的。无论是设计伦理机器，还是引入监管与治理，典型的解决方案都在构建风险缓解过程，其逻辑所遵循的因果链，是在日常生活及其伦理之外形成的。相反，当我们把注意力转向日常生活中身为人究竟意味着什么——也就是存在、感受与行动的经验——伦理就无法在日常生活之外被抽象化、固定或预先决定。现象学通过赋予“第一人称和第二人称立场以优先地位”，将我们的注意力引向伦理的主体间性和身体间性。^[18] 正如Mattingly与Throop所言：“伦理远不是一个由文化中表达充分的义务所构成的场域，也不是施加规范性道德秩序以创造顺从主体的场域；学者已经通过经验研究记录了伦理如何提出过度的要求，使生活经验变得陌生而诡异。”^[19] 这意味着，尽管人们不断尝试将伦理抽象为法规，这样的伦理却很可能永远无法契合日常生活的伦理要求。¶

因此，在本节中，我为法律与科学技术研究学者Sheila Jasinoff所提出的那类问题，给出了两种截然不同的回答。她问道：“在当今复杂的社会中，预见或预先阻止技术的负面影响是谁的责任？我们是否拥有预测和防止伤害所需的工具与手段？”^[20] 麻省理工学院的“道德机器”实验尝试正面回答这个问题：既承担预防负面影响的责任，也创造工具，用以制造合乎伦理的自动驾驶汽车，让人们随后信任并采用它们，由此减少交通死亡和碳排放。但是，Mattingly与Throop提出了另一个问题，使这种回答及其假定的责任模式都变得复杂：“强调伦理生活的不充分确定性，究竟关涉什么［……］？将人描述为以潜能或可能性、而不是现实性为特征，意味着什么？声称伦理要求具有一种过量性质、因而无法简化为遵守规定性的规范或规则，又意味着什么？”^[21] 在此情境中，答案是：由于人与自动驾驶汽车之间的关系——进而人与一般AI之间的关系——所呈现的伦理是不确定的，它们既不能外推至机器，也不能被用来预测和防止伤害。〔译注：此处原文将Jasanoff误拼为Jasinoff。〕¶

攫取主义伦理与预期性审计：吸引投资

本节考察攫取主义伦理如何参与资本主义的预期愿景。这些愿景是资本主义占据未来、维持其对日常生活的结构性掌控的关键。伦理作为一种可提取的资源，或作为捕获信任的诱饵，可以被注入值得信赖的智能与自动化机器，因而成为人类信任、接受和采用AI这一因果链中的催化剂。在这里，被提取的伦理可以参与创造一种预期性基础设施：在其中，合乎伦理的AI和伦理机器被视为一种技术解决方案，用来应对公众接受自动化技术被认为是难题的情境，^[22] 并由此为那些被设想成社会问题解决方案的技术吸引投资。¶

为了使AI投资与市场显得可信而现实，攫取主义伦理也与我称为预期性审计的东西相契合。预期性审计属于人类学家早已称之为“审计文化”的一部分。^[23] 审计文化的许多要素本质上具有预期性。以大学伦理委员会为例。^[24] 这个例子我已讨论过多次，但值得在此重提，因为它既与下文所说的学术研究和资助背景相连，也很可能是学术读者亲身经历的一部分。伦理审批通常由制定规则、界定合乎伦理之研究行为的机构级组织（有时是国家级组织）加以管理，其内容包括确保在研究中被认定为不合伦理的事情可能发生的任何风险，都已被预先识别并得到缓解。然而，当伦理成为预期性审计的对象时，唯一能够将伦理纳入核算的方式，就是把它们固定住、捕获下来，再依据伦理法规加以衡量。这样做的结果，是让我们的机构确信，研究实际上会合乎伦理，而且机构已经尽量减少了可能被解释为不合伦理的行为。伦理AI的情形与此类似：AI应当体现的伦理条件通过伦理框架事先规定下来，因此，如同研究者的伦理一样，AI的伦理也可以在它们被放入世界——即日常生活环境——之前接受审计。¶

举众多例子中的一个：顶尖咨询公司普华永道（PwC）的网站提出了“负责任AI（RAI）”的问题，并声称这是“缓解AI风险的唯一途径”。^[25] 其“负责任AI工具包”包含了对伦理的关注。然而，尽管“把伦理做好就能缓解风险”这种可能性很容易让人信服，它究竟意味着什么，似乎仍悬而未决。2019年一篇国际伦理框架综述发现：“全球正在围绕五项［AI］伦理原则趋于一致（透明、正义与公平、不伤害、责任及隐私），但在如何解释这些原则、为何认为其重要、它们涉及何种问题、领域或行动者，以及应如何落实方面，仍存在实质性分歧。”^[26] 此外，皮尤研究机构在2021年发布了针对技术专家的调查结果，指出多数专家不认为到2030年，伦理AI设计会被广泛采用。^[27]¶

不过，皮尤所引述的最重要的评论之一来自danah boyd。她指出，当AI系统与“迷恋效率、规模和自动化”的当代资本主义相一致时，它们就与“增强人的能力、地方情境和包容”这些伦理价值背道而驰。boyd的洞见与上文勾勒的日常伦理相通，后者恰恰强调伦理如何依具体情境而定、具有特殊性。上述观点表明，问题不只是AI的伦理是什么，还包括它从哪里获得伦理，以及这些伦理契合谁的价值观。正如我通过“道德机器”实验所表明的，人们已经尝试通过汇总个体回答，从日常生活中提取伦理；但这类尝试必然无法产生契合日常伦理的伦理，因为它们具有攫取性。我们无法开采伦理。相反，我们必须进入其中，与之共处。这与攫取恰好相反；它要求在具体地方、并伴随着生命持续涌现的过程，进行融合与合作。¶

实际上，我们作为大学学者所经历的预期性伦理审计，与AI系统受到的审计，其相似之处并不止于共同希望缓解某些行动者“在真实环境中”行动所带来的风险。这两种预期性审计，也都意图核算、规制、控制和缓解如下伦理行为中的风险：一方是AI或研究者这样的主动行动者，另一方则是公众成员、用户、消费者或研究参与者这样的被动行动者。然而，预期性伦理审计与学术研究者或AI系统及技术——那些已经接受审计的人或物——将要被投入其中的日常伦理之间，存在多处错位。在那些预想的单向伦理效应将被激活的日常世界里，实际存在的是非常不同的伦理：Mattingly与Throop所指出的经验性伦理，它们依情境而定、具有脉络性、具身性、主体间性和不确定性。^[28]¶

资助攫取主义伦理：资助的性别

上文概述了一种观念内在的缺陷：它将人类伦理视为确定的东西，可以从社会中提取，或从专家那里收集，作为社会价值观的代表，再将它捕获并转移到机器之中。^[29] 然而，这类伦理方法为一个复杂问题提供了一个（看似）简单的回应：通过一连串具有因果关系的保证，既缓解AI在未来造成伤害的风险，也缓解为创造落实解决方案所需的知识与技术而开展研究时的一组风险。¶

提出将预先确定的伦理价值嵌入AI的研究，相对而言风险不大，因为它展示了一条清晰的影响路径。当然，它可能还包含其他风险，这些风险与研究者希望实现的技术发现所涉及的困难或不确定性有关，那是另一回事。不过，如果你已经相信伦理AI——被注入社会认可的伦理价值的AI——会使人们信任、接受并采用能够造福社会和环境的技术，那么接下来作出这样的假设就不难了：资助旨在制造只会依照可取的人类伦理行动、并由专家批准的伦理框架治理的AI的研究，是一个好主意。因此，攫取主义伦理议程最终会吸引那些怀有善意、参与主流创新议程之叙事和实践的组织与研究者。它随后也会支持那些通过此类议程获得资助的学者的职业生涯，并为决定学术成功的研究资助、成果和影响力机制的运转提供润滑。至少从获得资助的结果来看，性别似乎是支配学术成功的因素之一。2019年，一个由欧盟H2020计划资助、题为“从性别视角看资助分配差异”的项目报告了一系列“无可争议的事实”：在STEM学科和高级学术职位中，女性少于男性；女性获得的科研项目更少、经费更少，评价也更低。^[30]¶

陷入僵局的攫取主义伦理与日常伦理

本章提出了攫取主义伦理的概念。我认为，它创造了一个范畴，使我们得以揭示并质疑围绕社会中对新兴技术的信任与接受如何形成、以及这些技术的市场如何构成的主流叙事。我探讨了攫取主义伦理与另一个概念——预期性审计——之间的契合。我指出，构造攫取主义伦理与预期性审计的风险缓解范式，也使它们与企业议程和研究议程相契合，因为两者都承诺了产生影响的路径。¶

那些呼吁伦理框架与监管的伦理AI路径怀有良好意图。Luciano Floridi倡导“伦理优先是为AI制定全球标准的正确方法”，这一点是对的。^[31] 然而，要让伦理真正居于首位，还需要更多工作。目前，通过监管自上而下施加伦理的逻辑，与伦理在日常情境中实际发生的方式并不相容，尽管这些情境恰是监管最终试图以合乎伦理的方式影响的对象。日常伦理无法容纳攫取主义伦理在伦理机器问题上所渴求的那种确定性。这在一定程度上呼应了boyd在皮尤调查中的另一项观点：“当我们把伦理想成二元的，认为事物可以是合乎伦理的或不合乎伦理的时，我们就误解了伦理”；这种二元划分确实与“可以把机器制造得合乎伦理”这一想法相一致。同样，把伦理看作可预测因果序列的一部分，也是错误的。伦理无法参与可预测的反应链，仅仅因为它们并非静止不变。这些人类学对伦理的解释，使STEM领域的伦理机器模型及其造福社会的承诺变得复杂。而且，这些伦理理解很难被运用，也很难被教授，因为它们滑动不定、棘手难驯，无法安定下来。除此之外，它们还向那些使STEM在研究中备受重视的社会结构提出另一项挑战，因为正如boyd所说：“在我们能够质疑晚期资本主义的逻辑之前，我们无法有意义地讨论伦理AI。”¶

日常伦理具有政治性。正如我在本章开头暗示的，这也要求我们关注性别问题。性别具有交叉性，而不是二元的；这意味着，我自己对于全男讨论小组、研究团队以及科研资助结果可能偏向男性的提及，都需要结合其他差异、不平等与不公正形式作更细致的分析。不过，现有证据表明，AI正在一种带有性别印记、往往有利于男性的研发事业中涌现；要向前迈进，我们必须赋予其他声音力量。一个起点，可以是借用《女性主义数据否定宣言》（Feminist Data Manifest-no）^[32]第6点：“我们拒绝扩张那些将［数据］伦理攫取主义的状态正常化、并主要由货币化和人类经验极端个体化的驱动力所界定的［数据科学］伦理框架形式。”当伦理作为人类经验的一个方面，被从日常生活中提取出来，或被用作诱饵捕获信任等其他日常感受，以构建预期中的市场时，伦理实际上就被商品化了。我们应当像女性主义数据学者那样，转而“承诺以具有创造性和集体性的生命、生活与造世形式为中心，超越新自由主义逻辑，抵抗由市场驱动、将人类经验商品化的力量”。¶

致谢

本章最初作为出色的“美德经济”工作坊的一部分构思而成，并从中受益。感谢Thao Phan、Monique Mann、Jake Goldenfein和Declan Kuch的工作与启发；尤其感谢Ellen Broad、Lorenn Ruster、Jake Goldenfein和Declan Kuch对本章初稿提出的极富启发性的意见与审阅。¶

资助披露

本章写作是在我担任澳大利亚研究理事会资助的“自动化决策与社会卓越研究中心”（CE200100005）（2020–2027）首席研究员期间进行的。¶

参考文献

• Awad, E., Dsouza, S., Kim, R. et al. ‘The Moral Machine Experiment‘, Nature 563 (2018): 59–64. 〔题名中译：道德机器实验。〕

• Cruz Castro, L. and Sans Menéndez, L. Literature Review Synthesis Report. CSIS Institute of Public Goods and Policies, Madrid, 2019. 〔题名中译：文献综述综合报告。〕

• Floridi, L. ‘Establishing the Rules for Building Trustworthy AI’, Nat Mach Intell 1 (2019): 261–262. 〔题名中译：制定构建可信AI的规则。〕

• Floridi, L., Cowls, J., Beltrametti, M. et al. AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds & Machines 28, (2018): 689–707. 〔题名中译：AI4People：建设美好AI社会的伦理框架——机遇、风险、原则与建议。〕

• Jasanoff, S. The Ethics of Invention, New York: W. W. Norton & Company, 2016. 〔题名中译：发明的伦理。〕

• Jobin, A., Ienca, M. & Vayena, E. ‘The Global Landscape of AI Ethics Guidelines’, Nat Mach Intell 1 (2019): 389–99. 〔题名中译：AI伦理指南的全球图景。〕

• Mattingly, C. and J. Throop. ‘The Anthropology of Ethics and Morality’, Annual Review of Anthropology 47:1 (2018): 475–92. 〔题名中译：伦理与道德的人类学。〕

• O’Nell, O. ‘Accountable Institutions, Trustworthy Cultures’, Hague J Rule Law 9 (2017): 401–12. 〔题名中译：可问责的制度与可信的文化。〕

• Pels, P. ‘The Trickster’s Dilemma: Ethics and the Technologies of the Anthropological Self’ in M. Strathern (ed) Audit Cultures: Anthropological Studies in Accountability, London: Routledge, 2000, pp. 147–84. 〔题名中译：诡计者的困境：伦理与人类学自我的技术；审计文化：问责制的人类学研究。〕

• Pink, S. ‘Ethics in a Changing World: Embracing Uncertainty, Understanding Futures, and Making Responsible Interventions’ in xS. Pink, V. Fors, T. O’Dell (eds) Working in the Between: Theoretical Scholarship and Applied Practice. Oxford: Berghahn, 2017, pp. 29–51. 〔题名中译：变化世界中的伦理：拥抱不确定性、理解未来并作出负责任的干预；在其间工作：理论学术与应用实践。〕

• ——. ‘Trust, Ethics and Automation: Anticipatory Imaginaries in Everyday Life’ in Pink, S., Lupton, D., Berg, M. and Ruckenstein, M. (eds) Everyday Automation, London: Routledge, 2022, 44–58. 〔题名中译：信任、伦理与自动化：日常生活中的预期性想象；日常自动化。〕

• Pink, S., Raats, K., Lindgren T., Osz, K. and Fors, V. ‘An Interventional Design Anthropology of Emerging Technologies’ in Hojer Bruun, M., Wahlberg, A., Brogaard Kristensen, D., Douglas-Jones, R., Hasse, C., Høyer, K., and Ross Winthereik, B. (eds) The Handbook for the Anthropology of Technology, London: Palgrave, 2021, pp. 183–200. 〔题名中译：新兴技术的干预性设计人类学；技术人类学手册。〕

• Stilgoe, J., T. Cohen, ‘Rejecting Acceptance: Learning from Public Dialogue on Self-Driving Vehicles’, Science and Public Policy, 48.6 (2021): 849–59. 〔题名中译：拒绝接受：从关于自动驾驶汽车的公众对话中学习。〕

• Strathern, M. (ed). Audit Cultures: Anthropological Studies in Accountability, London: Routledge, 2000. 〔题名中译：审计文化：问责制的人类学研究。〕

• Wyatt, S. ‘Metaphors in Critical Internet and Digital Media Studies’, New Media & Society, 23.2 (2021): 406–16. 〔题名中译：批判性互联网与数字媒体研究中的隐喻。〕

注释