制作具有批判性与伦理性的软件

Caroline Sinders¶

机器学习是产品设计中规模庞大而重要的一部分。它嵌入用户每天接触的大多数事物之中，从Google搜索结果，到互联网广告和Netflix推荐。机器学习算法也曾用于带有偏见且不公正的监禁判决、^[1]人脸检测（或检测失败）、^[2]在技术岗位上偏向男性申请人的歧视性招聘实践，^[3]以及其他以日常方式伤害普通人的用途。技术可以放大伤害、偏见、厌女、种族主义和白人至上主义。即使技术不能创造平等，我们仍需要检视并重做技术整体，才能创造某些公平空间。¶

把技术的创造作为艺术干预，也作为技术干预——创造一种减少伤害、积极批判的公平技术——会是什么样子？机器学习与技术、与艺术的交叉点在哪里？Tania Bruguera的Arte Útil，即“有用艺术”，探索有用性与实用主义的观念，旨在创造一种既是艺术品也是工具的干预。¶

有用艺术是一种处理审美经验的方式，着重于艺术在社会中的实施；艺术的功能不再是“指示”问题的空间，而是提出和实施可能解决方案的场所。我们应该回到这样的时代：艺术不是让人敬畏地观看的东西，而是可以从中生成其他东西的事物。如果是政治艺术，它就处理后果；如果它处理后果，我认为它就必须是有用艺术。^[4]

“女性主义数据集”（Feminist Data Set）始于2017年，从艺术与批判性设计的空间出发，回应大量已有记录的技术问题与机器学习偏见案例。这是一项批判性研究与艺术项目，通过数据收集、数据训练、神经网络和新型用户界面（UI）审视机器学习偏见，也是一项创造女性主义人工智能（AI）的尝试。受到创客运动、批判性设计、有用艺术、《批判性工程宣言》、异质女性主义（Xenofeminism）和《互联网女性主义原则》的启发，“女性主义数据集”被设计为一个多年项目，旨在对抗数据和机器学习中的偏见。¶

在机器学习中，数据定义算法：它决定算法做什么。由此，数据被激活，具有特定目的，与算法代码同等重要。但许多算法作为专有软件存在，是无法拆开的黑箱。例如，Facebook的时间线为什么会在特定时间呈现特定用户的某些帖子？为什么某些朋友的照片，你看到的比另一些朋友的更多？Facebook的时间线由一个黑箱算法驱动，旨在为你提供经过挑选的“重要”内容。究竟什么算“重要”，其标准由Facebook决定，不向公众分享，也不接受公众批评或反馈。Facebook如何回应并处理用户数据，被视为专有事项。作为用户，拥有你的数据的不是你，而是Facebook。Facebook选择如何把你自己的数据反馈给你，也被视为Facebook的专有内容。¶

软件内部，尤其社交网络中的数据，来自人。一个人喜欢什么、何时与朋友交谈、如何使用平台，都是人的数据；它们并不冰冷机械，也不是早已潜伏在那里、等待被捞取。社交网络中的数据是亲密数据，因为对话和社会互动，无论发生于现实生活还是线上，都是不同形式的亲密。人们是谁、发布什么、喜欢和不喜欢什么、如何彼此互动——所有这些“东西”都完全属于人。而这些“东西”同时也是数据。¶

女性主义与技术

“女性主义数据集”把数据创造、数据集和归档想象为一种抗议行动。在大量个人数据被大型技术公司捕获并隐藏，用于定向广告和算法推荐的时代，制作一个关于政治意识形态、被设计为抗议用途的数据集，意味着什么？数据集如何能出自创意空间？如何成为社群的共同动作与作品？一个社群制作关于自身的数据集，会是什么样子？它可能是自画像，也可能是抗议；它可能要求被看见，可能是一场干预、一次对峙，或以上皆是。它可以极具政治性。那么，一个系统随后如何解释这些数据呢？如果这个系统也向批评和社群输入开放，又会怎样？¶

具有伦理性、社群性、“可被改造”的设计与技术，是通向公平未来的起点。它允许社群提供意见，也允许社群推动或改变有关产品、其技术能力及基础设施的决定。《互联网女性主义原则》是一份讨论如何为互联网建造女性主义技术的宣言，它在这一精神之上进一步指出：在制作技术基础设施时，它是为谁而建的，具有政治后果。《互联网女性主义原则》要求为边缘群体留出空间，并要求技术具有明确意图，从而进一步推动开源技术与社群；“女性主义数据集”正存在于这一精神之中。¶

［此处原有图像，不在本书许可范围内，网页与 EPUB 版未收录；见版权与译本说明。］ 图1．Rachel Steinberg，艺术家主持工作坊，为“女性主义数据集”创建数据分类法与矩阵的照片，2018年。^[5]¶

《互联网女性主义原则》与赛博格女性主义、异质女性主义等理论一道，呼吁改变技术及其运作方式，也改变技术的领导权与所有权。这份宣言要求重新定义和重新赋予技术及开源以用途：“女性与酷儿有权编写代码、设计、适配，并以批判和可持续的方式使用信息与通信技术（ICTs），重新把技术据为创造和表达的平台，同时挑战所有空间中的性别歧视与歧视文化。”^[6]在这份文件中，《互联网女性主义原则》将“能动性”定义为一种必要的赋权形式。“我们呼吁将同意的伦理与政治，纳入互联网平台的文化、设计、政策和服务条款。女性的能动性在于，她们能够知情地决定在网上分享公共或私人生活的哪些方面。”^[7]“女性主义数据集”同时存在于技术与能动性领域，既批判当下机器学习的基础设施和实践，也作为技术框架、批判方法论及基于实践的艺术作品，尝试回应这些问题。¶

作为媒介的批判性设计

这种重新审视软件能够、也应当做什么的工作，类似于“批判性设计”的创立；后者回应产品设计的局限。“女性主义数据集”受到这一批判视角的启发，吸收批判性设计运动的某些方面，并应用于机器学习。“批判性设计”这一术语由Anthony Dunne于1997年提出，源自他与Fiona Raby在英国皇家艺术学院担任研究员时发展的一种实践。作为实践，批判性设计“是越来越多方法中的一种，这些方法旨在呈现并定义设计实践与研究中的质询性、话语性和实验性方法”。^[8]批判性设计要求设计不再以资本主义生产的方式存在——这是产品设计的一项功能——并推动产品设计走向自我审视与文化批判。Dunne与Raby认为：¶

设计行业需要成熟起来，寻找在服务工业这一严苛约束之外运作的方式。在最糟的情况下，产品设计仅仅强化资本主义价值。设计需要看清，这只是其中一种可能，并为自己发展其他角色。它需要确立自身的思想立场，否则设计行业注定会失去一切思想可信度，被仅仅视为资本主义的代理人。^[9]

通过重新定义产品设计可以如何创造，批判性设计也为受众创造了参与设计的新方式，帮助他们理解设计在日常生活中的各个不同面向。¶

同样，创客运动通过重新定义“工程”，帮助把硬件工程重新界定为探索和参与的空间。工程从资深计算机科学家掌握的专长，变成一种欢迎普通摆弄者和探索者的调查与建造方法。创造技术变得越来越容易、越来越迅速，使工程进入玩耍的空间，也随之成为人人都能创造的空间，改变了成为“一名工程师”的含义。小巧、可负担、可适配且易用的Arduino（微型计算机）出现，Adafruit公司登场，Maker Faire展会／会议——创客爱好者的聚会——创立，再到如今的LittleBits——一家制作小玩具、教儿童电气工程知识，为使用Arduino作准备的教育公司——创客运动的革命类似于公民科学运动，是一场人人享有技术的革命。当技术组件易于参与、既能使用又能混编时，它们会创造多样的项目和多样的社群。它具有革命性，因为它创造新空间，也允许人们检视传统计算机科学等曾经存在于学院“围墙花园”中的过程。当制度化过程被打开、成为开源时，它们会为整个社群重新适配。这些过程允许更多意见进入，可以说也带来更多公平。但那是理想世界中的情况；开源运动与创客运动内部，仍存在大量种族主义、性别歧视与把关排斥问题。尽管如此，能够增补、改变、混编或“分叉”某种经验、技术与代码，正是使“制作”成为当代重要运动的原因。¶

“女性主义数据集”的工作路径，与Thomas Thwaites的“烤面包机项目”（Toaster Project）相近。在这个批判性设计项目中，Thwaites从零制作一台商用烤面包机，从熔炼铁矿石，到构建电路，再到制作新的塑料机身模具。不过，“女性主义数据集”以批判和艺术视角看待软件，尤其是机器学习。有所思考地制作机器学习，仔细考虑制作、迭代和设计的每个角度，意味着什么？这一过程的每一步，都需要透过女性主义视角彻底重新审视；并且，如同Thwaites的烤面包机，每一步都必须实际运作。¶

“女性主义数据集”的过程

最初，“女性主义数据集”作为协作数据集起步，通过一系列旨在处理人工智能偏见的工作坊建成。迭代式工作坊是关键：通过在实体工作坊中“缓慢”收集数据，我们让社群来定义女性主义。但我也逐次检查数据集中的内容，以便修正方向、处理偏见。我把这看作从农场到餐桌的、可持续的数据集“栽培”。数据集中顺性别女性或白人女性的作品是否太多？如果是，我就需要在未来处理这一点，或者举办后续工作坊，向非顺性别女性、有色人种女性，以及跨性别创作者的作品发出征集。2018年12月，我们在一家酷儿书店举办“女性主义数据集”工作坊，将酷儿诗人、作家、艺术家和社群组织者的作品纳入数据集。¶

按照设计，这个项目最终将创造一个女性主义AI系统。但过程中涉及许多步骤：¶

1. 数据收集。

1. 数据结构化与数据训练。

1. 创建数据模型。

1. 设计一个特定算法来解释数据。

1. 质疑是否需要创建新算法，使其对数据和模型的解释或理解具有“女性主义”性质。

1. 制作界面原型。

1. 改进。

每一步都为了质疑和分析使用机器学习进行创造的流程。每一步是否具有女性主义性质？是否体现交叉性？是否有哪一步带有偏见，又该如何去除这种偏见？¶

作为“通过设计消除偏见”的方法，我参考Julian Oliver、Gordan Savičić和Danja Vasiliev撰写的《批判性工程宣言》。该宣言概述十项原则，指导工程项目、代码、系统和理念的创造。与批判性设计类似，它旨在审视工程和代码在日常生活、艺术及创意编程项目中的作用。第2条和第7条讨论不断变化的技术的角色：¶

1. 批判性工程师提升人们的意识：每一次技术进步，都会挑战我们的技术政治素养……

1. 批判性工程师观察技术生产与消费之间的空间。批判性工程师迅速回应这一空间中的变化，揭示失衡与欺骗的时刻。^[10]

［此处原有图像，不在本书许可范围内，网页与 EPUB 版未收录；见版权与译本说明。］ 图2．Caroline Sinders，“女性主义数据集”在维多利亚与阿尔伯特博物馆的展出现场，2018年。^[11]¶

同样，这份及其他宣言，帮助奠定最初《女性主义数据集宣言》的写作基础。后者于2017年10月，在伦敦SPACE Art and Technology举行的“女性主义数据集”第0次工作坊中创作。¶

《女性主义数据集宣言》：

我们最初的意图：创建一个数据集，作为资源，用于训练AI，在网上传播的数字媒介中定位女性主义及其他交叉性思维方式。

我们的意图：在实践中，两天时间里，我们创建了一个数据集，质疑、检视并探索支配的主题。受《赛博格宣言》启发，当以支配形式表达权力结构，尤其是与交叉性女性主义相关的权力结构时，我们的意图是增加暧昧性，扰动由算法计算所中介的真理／信息的统一性。

我们未来的意图，是通过介入新材料、与他人共同参与，为人工智能创造输入，以挑战支配。我们正协作地构建一个集合。

通过协作，我们创造了一种新方式，增强智能与增强智能系统，并转而关注自主系统。

我们的主要词语：扰动、支配。

宣言：我们正在创造一个空间／事物／数据集／胶囊／艺术，以质疑支配。

这份宣言界定了项目当前与未来的意图。“女性主义数据集”必须有用，必须扰动并为人工智能创造新的输入，也必须是一个关注交叉性女性主义的项目。¶

迄今为止，项目只在收集数据。下一步将处理数据训练与数据收集。在机器学习中，涉及数据标注以及为算法创建数据模型时，团队通常会使用亚马逊的劳动力平台Mechanical Turk进行标注。亚马逊创建Mechanical Turk，是为了解决自身机器学习的规模问题。他们需要大型数据集得到训练与标注。使用Mechanical Turk是机器学习项目中的行业惯例，从技术公司到研究团队，到处都用它帮助标注数据。对于“女性主义数据集”，问题在于：Mechanical Turk系统具有女性主义性质吗？使用零工经济平台是否合乎伦理，是否女性主义，是否体现交叉性？一个制造劳动者之间竞争、阻碍工会、对每项重复任务只支付几分钱，并制造无名而隐蔽劳动的系统，既不合乎伦理，也不具有女性主义性质。¶

2019年，我将建造、制作原型并想象，一个合乎伦理的Mechanical Turk式系统可以是什么样子。这个从交叉性女性主义视角创造的系统，可以供研究团队、个人，甚至也许供公司使用。它的伦理性在于，使谁训练和标注数据集这件事更透明。训练者也将是作者，系统还会保存关于数据集的数据。系统也让研究者或项目创建者能够看见某个训练者训练了多少数据，并邀请、核验新的训练者。此外，项目创建者能够通过这一系统支付训练者报酬，系统将建议足以维持生活的工资。它也创造关于数据集本身的必要数据，包括谁进行标注或训练、他们来自哪里、数据集何时被“制作”或完成，以及数据集中有什么，例如某些类型的人脸。如果机器学习要在透明度与伦理上向前发展，就同样必须批判地审视各种问题：数据如何被训练、训练者如何与数据互动，以及数据集如何用于算法和模型创建。¶

要创造公平，制作必须经过思考、具有批判性，必须向反馈和解释开放。我们必须理解数据创造的作用，以及系统如何使用、误用数据，并从中获益。数据既应被视为社群创造的东西，也应被视为社群的反映；数据所有权至关重要。数据在技术系统中的位置是政治性的，它被激活，也具有亲密性。要使机器学习公平，就必须检视系统的每一个方面，拆开它，再重新组装。它需要纳入各种人的现实、语境和约束，而不只是早期网络创建者的现实。技术需要反映如今正在网上的人。¶

致谢

没有Rachel Steinberg、SOHO20 Gallery、维多利亚与阿尔伯特博物馆、Sara Cluggage和Irini Papadimitriou的支持，这个项目就不可能实现。项目存在于同一个社群中，因此也离不开以下项目及创作者：《异质女性主义宣言》、唐娜·哈拉维的作品、《赛博女性主义索引》、“缺失数据集图书馆”、《互联网女性主义原则》，以及Kimberlé Crenshaw的经典研究。¶

参考文献

Angwin, Julia, Jeff Larson, Surya Mattu and Lauren Kirchner. 'Machine Bias', ProPublica, 23 May 2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.¶

Arte Útil, http://www.arte-util.org/.¶

The Critical Engineering Working Group. 'The Critical Engineering Manifesto', October 2011-2019, https://criticalengineering.org/.¶

Dastin, Jeffrey. 'Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women', Reuters, 10 October 2018, https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G.¶

Dunne, Anthony and Fiona Raby. Design Noir: The Secret Life of Electronic Objects, Basel: August/Birkhäuser, 2001.¶

'Feminist Principles of the Internet v. 2.0', Feminist Principles of the Internet, last modified August 26, 2016, https://feministinternet.org/sites/default/files/Feminist_principles_of_the_internetv2-0.pdf.¶

Frucci, Adam. 'HP Face-Tracking Webcams Don't Recognise Black People', Gizmodo, 22 December 2009, https://www.gizmodo.com.au/2009/12/hp-face-tracking-webcams-dont-recognise-black-people/.¶

Malpass, Matt. Critical Design in Context: History, Theory, and Practices. London: Bloomsbury, 2016.¶

注释