Other Readings异读 返回作品
字号
主题
下载
下载全书

全书 · v0.1 · 2026-10-15

以数据为宴:伦理、价值与风险偏好的计算

Thao Phan 等编 · 2022 年原著 · 全书中文初译AI 辅助初译,未经人工终校第 7 / 13 单元

Tsvetelina Hristova 和 Liam Magee

数据伦理与AI伦理构成了一个争议日益激烈的领域,学者、行动者、国家机构与产业参与者竞相界定伦理实践的原则。国家认可的伦理框架、由行动者和学者牵头的FAIR数据原则等倡议[1],以及微软Aether委员会等产业项目,虽已得到广泛讨论,但国际标准作为影响数据伦理如何被理解和实践的治理技术之一,仍大体处于研究者的关注范围之外。本章考察一系列相互关联的风险管理标准的作用;这些标准在塑造一种特定的数据伦理观方面,已经发挥越来越重要的作用。

我们先介绍其中几项全球标准;它们彼此之间以及与先行国家标准之间的联系,可能难以厘清。这些标准以澳大利亚和新西兰风险管理标准AS/NZS 4360-2004为基础;后者也是国际风险管理标准ISO 31000的基础。它们将风险与价值之间的一种特定关系编纂为规范。这种关系凸显出国家和产业参与者如何想象数据使用的社会维度,以及自身在全球数字经济中的角色。澳大利亚标准AS/NZS 4360-2004与ISO 31000引入了一套新的风险管理框架,将风险概念化为具有两面性:在某些情况下为正面,在另一些情况下则为负面。风险的两面性催生了一种以组织和机构的“风险偏好”为依据的风险管理方法——即根据预期收益而形成的承担风险的意愿。这套风险管理框架被纳入新设的ISO分技术委员会ISO/IEC JTC 1/SC 42的工作中,该委员会负责制定人工智能标准。ISO/IEC JTC 1/SC 42属于一个规模更大的AI标准制定倡议;该倡议由信息与通信技术标准化联合技术委员会JTC 1的一个专门分技术委员会牵头。JTC 1成立于1987年,旨在整合两大国际标准机构——国际标准化组织(ISO)和国际电工委员会(IEC)——的标准化工作。ISO/IEC JTC 1/SC 42分技术委员会则于较近的2018年成立,受命制定人工智能领域的标准。这一项目的重要性不容低估:IEC,尤其是ISO,已经建立起学者所谓的“通过共识实现的全球治理”[2];它们各自的全球标准经由各种合规要求,影响着大多数行业。在该分技术委员会制定的一系列标准中,小组还在制定AI风险管理标准ISO/IEC DIS 23894;正如其引言所述,该标准明确以ISO 31000为基础:

本文件旨在与ISO 31000:2018配套使用。当本文件扩展ISO 31000:2018所给出的指导时,会适当引用ISO 31000:2018的相应条款;如适用,随后给出AI专门指导。为了使本文件与ISO 31000:2018的关系更加明确,本文件沿用ISO 31000:2018的条款结构,并在必要时增设分条款。[3]

ISO 31000的案例所提示的不只是标准的可复制性,还包括一种正在形成的社会技术构型:风险开始参与塑造人们如何针对数据主体想象并实施伦理与治理。用户与公司都被赋予一种内在的“风险偏好”;它使大数据与AI情境中不同程度的偶然性变得可以容许,并划定预期和获准的数据实践的边界。数据主体也被卷入技术标准与民族国家地缘政治抱负之间复杂的相互作用之中;在这种相互作用中,地方层面的数据与AI监管旨在成为全球治理框架的试验场。

就这一政治经济空间而言,标准处于一个复杂的位置。Keller Easterling[4]专门以ISO为例提出“国家之外的治理术”(extrastatecraft)概念,用来刻画重新安排权力、控制和生产关系的技术与经济机制。这些机制并非仅由民族国家政府引导,而且可以重塑国家、城市或大陆内部及彼此之间的政治结构和权力的空间维度。Andrew Barry[5]提出了类似论点,主张“技术区”这一概念;技术区由复杂的技术基础设施与关系界定,而非由国家政府的传统政治权力界定。在两位学者看来,国家之外的治理术和技术区网络内部各种力量的互动,都由技术基础设施、协议与经济和政治权力之间的相互关联所塑造。标准通过在公司和国家机构之间缔结联盟,并将形成共识的原则和技术约束作为行使控制的方式,占据了这一处在政治治理惯常规范之外的国家之外治理术的规制空间;它们由此塑造出一个容许某些经济流动与关系、同时限制另一些流动与关系的空间。

技术标准与伦理的明确纠缠虽然相对较新,但标准长期以来一直是社会技术组装体[6]的关键组成部分;数据在这些组装体中得到定义,并被用于不同的计算和统计操作。在历史上,标准在数据基础设施与网络如何被治理[7]、不同数字文件格式如何被界定[8],以及使数据能够跨不同系统流通的互操作性这一关键原则如何被理解与落实[9]等方面,都发挥了重要作用。标准对于创造大数据收集、交换和分析的条件至关重要。而且,正如我们已经指出的,除了界定数据格式与网络基础设施的作用,标准在更一般的意义上还处于一个模糊空间:它们通过实质上属于“国家之外的治理术”[10]的共识建构和技术官僚方法,塑造政治与经济进程。我们将ISO 31000这样的标准视为数据与算法的复杂、变动的社会技术组装体的一部分;数据与风险的关系正是在这些组装体中确定的。数据作为风险管理工具体系的一部分,已在用于先发控制与警务的算法研究中得到广泛探讨[11];而ISO 31000则通过新的AI标准ISO/IEC DIS 23894,将数据与AI本身置于风险评估和缓解的对象位置。

这些标准对于阐明风险与价值之间的关系至关重要;作为标准建立的社会技术控制体制的一部分,这种关系对于数据使用和伦理如何被想象、机构与国家如何看待自身在大数据与AI治理中的作用,正变得越来越重要。如后文所述,控制从技术延伸至想象层面的一个有趣面向,是“风险”词汇的标准化。例如,在这一过程中,建构出来的“风险偏好”概念及其相关术语被赋予了重要作用;它们共同塑造了一种不同的制度想象,一种已经赋予数据独特的道德能动性及经济能动性的想象。

风险以新的方式进入如何治理数字经济并从中获益的盘算,这对不同领域和不同地缘政治行动者如何理解并操作化风险产生了后果。在标准与指导原则等“通过共识进行治理”的技术中,这一点尤其显著;这些技术为实践在私营企业、国家议程以及国际合作与影响力等领域之间的协商和转译留下了空间。我们在此聚焦的风险管理标准ISO 31000,在这一意义上是一个突出的案例:这不仅因为它重申了承担风险与风险偏好的语言对于成功治理不可或缺,也因为这一标准的生命历程揭示了AI伦理与风险指导原则的制定所依托的利害关系和期望。

作为国际标准,ISO 31000成为一种新方式的标志:不同的国家或地方行动者通过制定标准与伦理规范并为之游说,在数据密集型产业中开辟影响力和领导地位。它表明,风险及其不断变化的意义与功能,不仅通过风险偏好原则的采纳发挥变革作用,还通过处于标准制定倡议核心的特定地缘政治和地缘经济抱负发挥作用。与把技术标准理解为以测量、科学与理性的客观性为基础的日常看法相反,标准确实在塑造并表达地缘政治和地缘经济的抱负与边界方面发挥着重要作用。即使标准由非政府机构制定,其地理来源及背后组织的构成,也被视为代表特定的国家利益。正如我们在别处研究技术标准被用于地缘政治和地缘经济斗争的案例时所说明的[12],国家政治权力与技术区经常相互纠缠,共同塑造并重塑一项标准的影响范围。认为某些国家能够通过其所支持的标准获得国际采纳而扩大影响力,这种看法本身正是这些纠缠付诸实践的重要组成部分。

新数据经济中的风险标准化

传统上,风险根据其应用的尺度与场所,被概念化为多种不同形式。一种得到广泛接受的定义来自灾害管理:风险是危险性、暴露度与脆弱性的组合。[13]组织风险常以类似的方式定义:它是可能性(可比于危险性)与严重程度(结合了暴露度和脆弱性)的组合。但风险被认为在社会政治生活中发挥着深刻得多的作用。例如,Georg Simmel在《货币哲学》中,将风险与抽象经济价值及社会层面的信任之间的一种根本关系联系起来。他认为[14],在货币和信用经济中,由于不确定性(或社会风险)这一潜在因素的存在,信任通过构建一种社交伦理的必要情境,成为价值生产不可分割的一部分;这种情境能够容纳并抵消冒险的危险。风险后来成为组织明确关注的对象,Ulrich Beck[15]的论述反映了这一发展:他认为,风险管理已发展为后现代时代治理的决定性特征。他指出,风险地位取代阶级地位,成为当代生存的关键;风险的生产、管理和控制,也已经取代政府早先对价值及其分配的关切。

过去二十年间,在管理话语及与ISO 31000有关的标准家族中,风险如今表现为具有两面性、而非纯粹负面的存在。ISO 31000建立了一套术语,将风险定义为“不确定性对目标的影响”,并进一步解释为“偏离预期的情况[……这种偏离]可以是正面的、负面的或两者兼具,并可以应对、创造或导致机会与威胁”。[16]得益于国际标准化组织的重大影响力,这种解释得到广泛采纳;它把风险描绘为一个能够为公司和机构带来收益与价值的不确定性领域。风险的诱惑力再次肯定了该标准为风险管理原则所设定的核心目标:创造和保护价值。

如果风险创造机会,就有必要追求冒险。配套的ISO Guide 73:2009通过“风险偏好”概念表述了这一要求,即“组织愿意追求或保留的风险数量和类型”。[17]在全球咨询公司德勤[18]随后对风险偏好的阐释中,消费的隐喻被进一步推展,并融入一个区分不同风险程度的框架:公司承担的风险数量,会使其处于饥饿、饱足或过饱状态。这种消化隐喻无论多么牵强,仍提醒我们注意历史上将经济组织构想为身体的做法:公司也是一个有形的身体,有生命、会呼吸,需要自身的法律保护,并在生产的同时消费。即使大学风险管理声明的语言,也能说明其治理与赌博消费的决策框架有多么相似:先计算胜算,再根据组织的偏好,押注于低风险或高风险结果。

全球标准ISO 31000采纳风险偏好和风险容忍度这些概念后,它们便成为其他所有风险管理相关标准中可复制的模型,包括信息技术安全管理标准ISO/IEC 27001,以及上述AI风险管理标准。该标准引入了对如何处理风险的新理解,显著改变了国家、企业和国际治理语境中的风险概念及风险管理参数。可接受风险和风险偏好的概念,也开始影响公共机构如何理解自己对国家收集的数据所负的职责。例如,澳大利亚皇家生产力委员会2017年发布的《数据可得性与使用》报告,大力鼓励公私实体之间的数据共享,尤其鼓励共享公共数据集,以促进本地数字产业的经济增长与创新。值得注意的是,它以风险偏好以及社会对共享个人数据相关风险的容忍度提高为依据,论证应当采取更宽松的数据共享方式。报告主张,既然社会的隐私标准已经改变——社交媒体公司使新的数据共享实践常态化,在很大程度上推动了这种转变——联邦机构也应当在共享数据时承担更大的组织风险。

与ISO 31000有关的AI风险管理标准的出现,意味着对数据及其价值的关注更加密集。然而,数据的经济化——我们在此指价值的生产,无论以直接财务收益,还是以间接的声誉、人力资源或政治利益衡量——绝非新鲜事。我们将此处的讨论置于AI在2010年代走出此前数十年所谓“寒冬”的背景之中。据Facebook首席科学家、AI先驱LeCun[19]所述,这一复兴来自以下要素的结合:硬件(尤其是将GPU改用于并行数据处理)、软件(如Facebook的PyTorch和Google的TensorFlow等开源库)、研究方法的改进(尤其是神经网络、随机梯度下降和反向传播的使用),以及大型文本、图像和其他媒体数据集的积累。对于Facebook、Google、百度和阿里巴巴等科技公司——它们既是AI研究的领军者,也遥遥领先于其他企业,最善于把在线广告转化为收入——数据与价值之间的联系,不仅体现在向消费者投放相关广告的效率上,也体现在它们向消费者提供的一系列AI驱动的服务上,从搜索结果到内容审核皆是如此。在价值方面较不显眼的一点,是这些公司能够吸引LeCun和Geoffrey Hinton(Google)等知名数据科学家,其承诺是让他们有机会使用海量数据集,解决社会和计算问题,产出“最先进”的AI研究。在算法范式似乎正从庞大的代码库转向以充足数据进行训练的较小代码模型的时期,数据的大量存在不仅创造规模经济,使组织在广告商和消费者面前脱颖而出,而且也是吸引人才的关键因素。

对于资本主义的新巨头,以及其他私营和公共机构,数据治理都是核心业务。数据的存在本身,也给它所创造的价值带来风险。数据可能遭到窃取、泄露、滥用、损坏、忽视和歪曲。虽然数据远非风险管理的唯一对象,但由于它在组织运作中的中心地位,二十世纪和二十一世纪通过程序、审查与标准使风险逐步形式化的过程中,数据同样至关重要。[20]从著名的安全泄露事件,到利用社交网络关系图谱定向投放政治信息[21],各式各样的数据危机也无意间造就了一种公开宣称自身合乎伦理的组织主体;它通过条款、条件、原则、章程、承诺、政策与标准,保证保护其控制范围内的数据。正如我们在此所论证的,这种主体一边将自身伦理作为众多公开展示的美德之一加以陈列,一边也准备让伦理在价值生产中承受风险。因此,制定AI伦理框架的倡议日益增多,并不一定意味着它们在试图将数据伤害的风险降至最低。相反,它们同样可能说明,人们正在转向拥抱这些风险,并使之由社会共同承担。

风险在数据经济与AI监管中被操作化的格局发生变化,意味着我们面对的是另一种确立和实施伦理观念的关系构型。在这个新情境中,数据、自动化与人工智能并不只是强化一种排除疑虑和不确定性的治理方式。[22]它们也被部署于风险经济之中:风险在一定程度内是可接受的,甚至受到主动追求,因为它打开了不确定性与模糊性的缝隙,并由此带来实现经济收益和其他形式价值的可能。这种刻画呼应了早期关于风险与企业家精神、创新和资本之间关系的理论;例如Brouwer[23]就讨论了Weber、Schumpeter和Knight对于承担风险的企业家所作的不同刻画。不过,尽管这些理论家各有差异,他们都设想资本主义早期的风险最终会让位于理性主义、垄断性的晚期资本主义组织;而在当下的数据经济中,我们可以看到,恰恰是这些组织自身有意将风险重新注入,作为一种激活机制,以提振日趋疲弱的利润率。换言之,风险既是颠覆性企业家的特征,也是已站稳脚跟、高度理性主义的市场巨头的特征。

随着经济行动者采纳风险偏好,对于数据这样一种高度社会化的资源,伦理成为协商榨取与营利边界的关键。这不仅表现为对已编入法律和治理之中的伦理所进行的显然可见的争夺(见下文对Floridi区分硬伦理与软伦理的讨论),Facebook、Google及其他行动者大量规避法律和违法的案例便是例证。这也体现在企业对伦理领域本身的圈占:建立AI伦理小组,介入学术界和行动者的争论(例如Facebook的FAIR小组或微软的Aether委员会),并制定判断和治理AI与数据使用的标准本身。

正如我们所论证的,试图界定人工智能伦理包含什么,表明了伦理在争夺AI领导地位的国际竞争中所取得的作用。ISO 31000及其从澳大利亚地方标准发展为其模型被复制和援引的全球标准的历程,正是一个很好的例子:它不仅展示了影响风险和伦理相关关键概念的界定所涉及的地缘政治利害,也说明标准这样的基础设施可以交替作为国家之外的治理术来运作,或推进特定民族国家的利益。

风险基础设施与AI伦理的地缘政治

ISO 31000的案例融入了澳大利亚一种特定的国家想象与地缘政治抱负。澳大利亚风险管理标准AS/NZS 4360:2004所提出的风险概念被ISO 31000采纳后,便成为随后规范人工智能使用的文件文本解释风险的基础,尤其体现在风险管理标准ISO/IEC 23894和AI可信赖性标准之中。[24]这种联系成为澳大利亚国家宣称自身参与塑造人工智能全球监管框架的某种依据,也提供了一个典范模型,说明如何再次复制并确立这种影响力。澳大利亚标准协会本身是ISO/IEC JTC 1/SC 42工作组的成员,此外还建立了本地对口委员会IT-043,复制国际委员会的工作,并将制定完成的标准引入澳大利亚。本地委员会的构成与澳大利亚标准协会的声明,使我们有理由认为,在塑造AI伦理方面建立鲜明形象,是澳大利亚参与国际委员会的主要目标之一。对口委员会主席Aurelie Jacquet深入参与AI伦理与可信赖性的工作,便体现了这些抱负。正如她所解释的,伦理以及伦理规范和规制的建立,是她所在小组任务的核心部分。[25]

标准新近向伦理领域延伸,或许值得欢迎,因为这承认了众多批判学者和行动者为凸显AI中的伦理考量所作的工作。然而,ISO 31000及其周围的抱负揭示,技术区中国家之外的治理术空间如何会被地方性的国家愿望所浸染。通过这些纠缠,风险被操作化,并被纳入关于AI及其新兴伦理框架的新的地缘政治构型与经济目标之中。在一些最新文件中,澳大利亚标准制定组织——澳大利亚标准协会(Standards Australia,SA)——为该国在AI创新领域争取领导地位勾画了一条十分具体的路径。在2020年的报告《人工智能标准路线图:让澳大利亚的声音被听见》中,SA主张,澳大利亚可以采取另一条路径,通过引领标准的制定与实施,尤其是风险与伦理相关标准,确保自身在新兴经济中的领先地位。该文件以国际市场的语言讨论这一可能性,指出澳大利亚不具备输出AI技术的条件,而技术出口是在全球AI竞赛中获得影响力与声望的更显而易见的路径。思考本国AI产业这一被认为存在的不足时,SA把标准和指导原则的输出视为替代性的经济与政治战略。它尤其将ISO 31000视为未来可以复制的案例:一个本土标准被输出,并成为具有影响力的全球标准。援引ISO 31000模型,意味着在制定AI战略和标准时,风险不仅作为一个概念被操作化,也通过利用风险管理框架获利的现有模型被操作化。风险管理标准被视为应当复制的模型——既是一个具有可出口性的案例,更是一个重新思考民族国家在标准制定的国际政治中所扮演角色和功能的案例。

最后这一点是SA审议的重要部分。输出标准的想法,通过把澳大利亚构想为新标准开发试验场的可能性来表述:

国际标准继续为以一致的方式设计、开发、部署和评估AI提供最佳渠道。不过,鉴于学术界、咨询业和一些企业正在积极提出、开发和试验AI系统的风险管理与审计方法,我们有机会将其中一些经验编纂起来,形成能够证明澳大利亚专业知识、经验和可行解决方案的文件。这随后可能成为一项国际标准的基础。此事已有先例:澳大利亚利益相关者曾在AS/NZS 4360(风险管理)的制定中发挥重要作用,该标准后来经过完善,被采纳为国际标准(ISO 31000:2009,风险管理——原则与指南)。实现这一目标的最佳方式,是在澳大利亚标准协会内部设立一个汇集不同专长的专门中心。它可以提供类似NIST路线图所提及的试验场,让可能构成标准内容基础的具体提案,与产业及其他利益相关者共同接受检验。[26]

SA设想把澳大利亚定位为伦理和风险管理等领域全球AI标准开发的试验场或实验中心,由此提出了一种本身就在多个层面操作化风险的模型。将国家视为试验场的想法本身,充满实验与风险之间充满争议的关系。Melinda Cooper[27]在关于临床试验和实验劳动的研究中指出,后福特主义资本主义拥抱了一种新的风险政治经济学,尤其在信息技术与生物医学领域,它把风险重新界定为价值来源。这种对待风险的新方式,将实验、创新与预期由劳动者和实验对象承担风险所释放的剩余联系起来。在澳大利亚这样一个监管相对严格的国家,就卫生与医疗领域而言,Cooper的结论似乎相关性较弱。然而,在数据提取等新兴经济领域,该国保护水平相对较低而数字技术采用率较高,这种组合使其成为理想的实验场所。我们很容易看出,将澳大利亚建成标准开发试验场的抱负,以及SA于2004年引入的风险偏好概念,都与晚期资本主义中这种新的风险与实验经济相吻合。这种经济具有鲜明的地缘政治轮廓,使资本得以利用监管环境、数据积累和公开宣称的“风险偏好”之间某些特定的理想交汇点。

不过,SA的提议也通过将风险重新概念化为治理技术,引入了对国家如何与其主体发生关系的新理解。具体而言,这种重新界定通过“创新试验场”的概念实现;在信息技术产业中,这一观念早已通过州政府支持的各类创业平台、创新中心及其他实验区得到广泛接受。把国家视为实验空间,延续了风险与控制相互纠缠的历史遗产;这种纠缠正处于澳大利亚作为定居殖民国家和流放殖民地的建国基础之中[28],也呼应了2000年代和2010年代在边境管制与强制拘留方面开展的其他“激进”政策实验。这些实验被灾难性地输出到欧洲及其他地区,而人的流动在这些地区日益受到监控和军事化管制。事实上,风险管理的标准化产生了一种可推广的政治经济计算模型,它既能跨越不同机构类型(国家、企业、超国家或其他“国家之外”的机构),也能跨越不同计算对象(人类主体以及与其相关的电子数据)。在地缘政治层面,此处重要的是中等强国的作用:它们试图通过履行制定技术标准等特定关键功能,将自己嵌入AI超级大国的竞争动态之中;在这些高风险运作中,此类功能同时还能被描绘为善意且政治中立的。

在这一背景下,伦理作为一种复杂的三元市场装置的一部分,取得了特定作用;这一装置将伦理与风险和价值联系起来。在政策文件和标准制定工作中,监管AI并通过可信赖性和伦理等概念施加一定程度伦理监督的必要性,与在全球AI经济空间争取领导地位的抱负紧密相连。2019年,美国商务部国家标准与技术研究院宣称:“美国在AI领域的全球领导地位,取决于联邦政府在AI标准制定中发挥积极且目标明确的作用。”[29]澳大利亚标准协会2020年的报告呼应了标准建构与AI领导地位之间的纠缠,其标题《人工智能标准路线图:让澳大利亚的声音被听见》强化了标准能够帮助确立本国在人工智能领域领导地位的观念。欧盟《数字战略》表达了类似抱负:拟议的AI法律框架被视为一种让“欧洲能够在全球发挥领导作用”的手段。[30]中国的《新一代人工智能伦理规范》(国家新一代人工智能治理专业委员会,2021)虽然没有直接使用同样的表述,但在西方分析中,也大多被解读为中国政府在机器学习和人工智能领域谋求领导地位的表现。[31]

这些文件表达了国家和区域在全球版图中引领创新的抱负;这一版图沿着机器学习与自动化仍在形成的轮廓展开。同时,这些框架通过定义、标准化与操作化,也构造出被暗示为普遍适用的AI伦理参数,以界定并对冲沿这些创新前沿凝结的风险。这两种目的与其说相互矛盾,不如说组织起了伦理与风险之间的一种特定关系。而且,它们有助于解释,为何澳大利亚这样的中等强国偶尔会在标准制定安排中如此突出:它们相对不受瞩目,充当试验场或实验室,成功经验可以通过同中国、美国和欧盟等具有重大技术利益的国家和地区进行谈判而扩大规模。支持此类实验的国家,可以从直接的“突破性”技术(例如澳大利亚的WiFi),以及在技术创新周期中暂时摆脱边缘地位中获益。

然而,伦理AI以及总体上AI的标准制定安排,多半仍在研发中心附近展开。数据经济中的领先地位,与对于何谓伦理AI的具体参数的建构之间的联系,大体上并不抑制企业通过挖掘数据和训练机器学习模型谋利。相反,它们明确了一组坐标,尤其要求企业行动者在其中行进。民族国家也并非仅仅给标准盖章:中美政府对阿里巴巴、腾讯、Facebook、Google、Apple和Microsoft等科技公司进行监督和质询的情形尽管差异很大,却共同表明,当监管行动者与企业行动者在我们所称的“风险—伦理—价值”三元方程的计算上出现分歧时,这些坐标能够被增设、重新定位或重新强调。

Roxana Radu[32]指出:“拥有科技产业巨头的国家已经取得领先,抱负是在未来十年中主导全球AI发展。”通过监管谋求AI市场领导地位的抱负充满悖论与冲突,揭示了国家政府与跨国科技巨头之间不稳固的相互依赖。那些怀抱全球抱负的地方倡议,尤其在开发可信赖、公平、负责任或合乎伦理的AI领域,其目标并不总是清楚的:究竟是市场监管、政府监督,还是通过技术官僚手段实现地缘经济支配?国内的动员也不能被忽略,包括对技术越界的批评;在美国,政治左翼和右翼都发出了这种批评,即使这种动员的结果似乎可能限制民族主义抱负。监管呼声的另一个悖论,是最可能受其影响的企业谨慎地表示支持。例如,Facebook首席执行官Mark Zuckerberg赞成政府加强对其公司运营的监督;他无疑知道,市场既有巨头更容易承担监管合规的成本,而且可以通过向标准机构投入资源及政治游说来控制这些成本。这种支持背后的迂回逻辑,颠倒了Birnhack和Elkin-Koren[33]所描述的早期互联网公私关系逻辑:当时国家动员在其辖区内注册的私营企业,监管和治理刚刚兴起的网络空间。Facebook呼吁监管,是在不合规风险(如罚款)相对容易承担、且一旦适当立法出台便可由预期提高的公众信任加以抵消的情境中,要求一种互惠形式的保护。正如学者所论述的,大型科技企业对伦理指导原则与规范的支持表明,伦理已经被工具化,用来规避——或同样可能用来引导——政府的监督与监管。[34]

欧盟《通用数据保护条例》(GDPR)已经证明,以数据与数字技术为重点的立法工具和标准化尝试,能够产生跨境影响。[35]GDPR之所以能够影响世界各地的公司,是因为欧盟立法的特定适用范围——它适用于欧盟公民的数据——以及在平台和网络服务的覆盖与使用都遍及全球的情况下,为每位用户实施不同规则的困难,较小组织尤其如此。GDPR模型表明,针对数字技术与创新监管的地方倡议,能够塑造数据产业的全球地缘政治和地缘经济格局,将国家或超国家行动者确立为领导者;这不仅具有象征意义,也对数字经济产生实际影响。Metzinger[36]作为AI伦理指导原则制定的“内部人”指出,美国、中国这样的单一民族国家立场矛盾:它们一方面监管企业,另一方面又与具有强烈国家关联的企业站在一起提供支持;这实际上意味着,超国家或联邦式团体有责任制定这样的指导原则,让世界其他地区遵循。

与此同时,GDPR及其对数字创新的影响,也使当下环境中“何谓地缘政治”这一概念复杂化。欧盟立法在重构政治经济权力方面产生了一些相互矛盾的后果。一方面,人们普遍认为,它确立了欧盟及所谓“欧洲价值观”对数据驱动创新未来发展的影响。[37]另一方面,作为上文所说监管悖论效应的具体案例,GDPR因增加隐私合规监测负担,将一些小型参与者挤出了竞争,从而意外地巩固了数字空间中的企业权力与垄断。[38]Johnson、Shiver和Goldberg指出,GDPR出台并获采纳后不久,便导致Google和Facebook等科技巨头的网络合作伙伴数量下降,而这些大公司的市场份额却上升。[39]这个由GDPR引发、或许并非有意为之的市场集中案例,凸显了参与数据监管制定、并受到国家、区域和跨国倡议影响的众多行动者之间关系的复杂性。

在中国的案例中,地缘政治行动者的角色也存在类似的模糊性。中国对于人工智能以及数据使用和机器学习伦理的监管倡议,常被通过一个整齐划一的一党制国家的观念来解读。然而,行动者的构成更加多样。中国的AI发展战略,涉及中央和地方政府以及阿里巴巴、百度、华为等选定的“国家龙头”企业之间的协调。[40]值得注意的是,中国政府于2021年末发布的《新一代人工智能伦理规范》[41],将市场竞争规则纳入合乎伦理的AI生产与供给之中。这些规则可以被作不同解释,但无论如何都表明,对伦理的理解建立在混合的政治与经济议程之上。尽管这一举措及中国政府其他行动的影响,已导致阿里巴巴等公司的市值萎缩[42],但它们的目的似乎既是使企业利益与国家利益保持一致——例如中国半导体供应的“自给自足”,而阿里巴巴近期在这一领域取得了令人意外的进展[43]——也是增强竞争或追求“共同富裕”。[44]

各式各样的监管案例,试图确立同样多样的伦理数据治理观念。Luciano Floridi[45]确实提出,在分析数据和AI伦理时,需要区分两个伦理概念:硬伦理(或规范伦理)和软伦理(或合规后伦理)。软伦理在现行立法的参数,以及遵循法律与道德行动规范的可行性范围内运作。它包含计算与妥协,并公开地受到既有政治经济现实的驱动和约束。Floridi将软伦理与治理体系的渐进发展联系起来,并将欧盟置于那些可以在不损害人权的情况下应用软伦理的政治实体的前列;尽管如此,他对作为道德哲学的伦理,以及立法和技术官僚式合规、监管规范语境下的伦理所作的区分,揭示了我们所据以展开论述的数据伦理与AI伦理的一个重要方面。数字技术与AI领域的伦理,正越来越多地被产业监管和自我监管倡议重新塑造和界定。这一发展指向伦理概念得以建构的充满争议的政治领域;它也塑造了西方道德哲学中那些常被视为普遍适用、且未受质疑的规范性概念。实际上,Floridi对GDPR的高度评价,可以被视为推进了一种貌似普遍主义的道德观,却忽视了原住民数据主权等根植地方经验和政治基础的数据伦理原则的兴起。道德哲学的欧洲中心主义已经受到多种立场的批评;Rosi Braidotti、Nikita Dhawan和Homi Bhabha等作者[46],从女性主义、后人类主义和后殖民研究的视角,质疑其普遍适用性的假设。悖论在于,产业主导的数据伦理概念的出现,再次提醒我们:确立一个伦理实践领域及界定该领域的范畴,本身就是政治工作。在ISO 31000的案例中,我们看到伦理概念是在与政治经济治理另外两个关键概念——风险和价值——的关系中被构造出来的。

结论

风险与伦理在标准制定和立法文件的社会技术基础设施中被操作化,表明国家、公司和超国家组织正在行进于、也在建构一种新的地缘政治框架;这一框架规定伦理、风险,以及通过控制和管理装置对二者进行中介意味着什么。我们认为,价值与另外这些术语之间存在某种悖论关系。一方面,价值动摇了任何以标准为支撑的地缘政治确定性,产生风险运作的新向量,并对普遍伦理原则的可能性提出质疑。另一方面,价值的不同规定——对企业而言是经济价值,对国家而言是地缘政治价值,而至少在专注于AI益处的文献中,对那些其数据可能在医疗、法律或消费机构手中被加工为更准确预测的人而言,则是认识论价值——也为承担风险、制定伦理原则准备了基础。这三个概念及其不断变动的构型,一同帮助组织数据交换和算法生产的市场。

在AI监管语境中,这种相互关系通过两种不同的风险概念化方式运作。第一,在风险管理、先发控制和画像分析的算法与工具中,AI被表述为消除风险的技术。[47]第二,通过“风险偏好”概念,AI进入了有关个人、社群和民族国家可容忍风险程度的模糊关系中;这些风险被辩护为追求机器学习与AI领域领导地位和创新的一部分。由数据支持的决策和系统所生成的伤害风险,作为这一新经济中的生产性行动因素,推动风险本身的资本化;这一举措虽在实践上有所不同,却与金融领域对风险的操作化一致。[48]这种操作化似乎是组织处理大数据时的财务和社会行为框架的一部分;在此意义上,每一次数据泄露或数据伤害事件,都有助于为这种操作化创造新的市场。应对偶然性的策略,越来越多地以“风险偏好”声明为模型[49];在数据经济中,这些声明优先考虑共享与互操作性,以释放数据集的价值潜力,同时也计入风险管理所固有的成本。

大数据价值的复杂构成,重申了Simmel所描述的新经济社会关系中信任与风险之间的依赖关系。伦理在此并非一种置于这些关系之外、并凌驾于其上的抽象道德范畴或准则,而是提供社交性与信任的框架,使大数据价值得以在其中生产和流通。澳大利亚标准协会及其通过标准化谋求全球AI领导地位的抱负表明,风险的社会化正在成为数据经济的核心部分,不仅发生在生产与使用领域,也发生在监管领域。这造成风险与伦理之间的一种悖论关系:AI和数据伦理规制的发展,提供了控制数据所生风险的框架;但与此同时,伦理本身又成为通过实验中心和实验室实践使新风险形式社会化的载体,而这些实践能够扩大至整个民族国家的层级。这一论断并未减损社会压力和声誉利害在推动大数据利用采纳伦理实践方面的重要性[50],反而凸显了其重要性;它强调,对于我们如今共同生产的海量社会数据集合这类高度社会化的资源,信任与伦理的管理,已经成为从中提取经济价值不可分割的一部分。

资助披露

本文工作属于“自动化的地缘政治”项目(The Geopolitics of Automation,ID: GA64648)的一部分,由澳大利亚研究理事会“发现”资助计划提供资助。

参考文献

  • Akhigbe, A., Martin, A.D., and Whyte, A.M. ‘Dodd–Frank and Risk in the Financial Services Industry’, Review of Quantitative Finance and Accounting, 47(2) (2016): 395–415. 中文题名:《〈多德—弗兰克法案〉与金融服务业的风险》。
  • Amoore, L. ‘Data Derivatives: On the Emergence of a Security Risk Calculus for our Times’, Theory, Culture & Society, 28(6), (2011): 24–43. 中文题名:《数据衍生物:论我们时代安全风险计算的兴起》。
  • ——. ‘Security and the Incalculable’, Security Dialogue, 45(5), (2014): 423–39. 中文题名:《安全与不可计算之物》。
  • ——. ‘Doubt and the Algorithm: On the Partial Accounts of Machine Learning’, Theory, Culture & Society, 36(6), (2019): 147–69. 中文题名:《怀疑与算法:论机器学习的片面说明》。
  • ——. Cloud Ethics. Durham: Duke University Press, 2020. 中文题名:《云伦理》。
  • Aradau, C. and Blanke, T. ‘The (Big) Data-security assemblage: Knowledge and critique’, Big Data & Society, issue 2(2) (2015): 1–12. 中文题名:《(大)数据—安全组装体:知识与批判》。
  • ——. ‘Politics of Prediction: Security and the Time/Space of Governmentality in the Age of Big Data’, European Journal of Social Theory, 20(3), (2017): 373–91. 中文题名:《预测的政治:大数据时代的安全与治理术的时间/空间》。
  • Barry, A. ‘Technological Zones’, European Journal of Social Theory, 9(2), (2006): 239–53. 中文题名:《技术区》。
  • Beck, U. Risk Society: Towards a New Modernity, Ritter, M. 译, Newbury Park, CA: SAGE Publications, 1992. 中文题名:《风险社会:迈向一种新的现代性》。
  • Bhabha, H.K. ‘Culture’s In-between’, in Hall, S. & du Gay, P. (eds) Questions of Cultural Identity, [CA: SAGE Publications], 1996, pp. 53–60. 中文题名:《文化的中间地带》;《文化认同问题》。
  • Birnhack, M. and Elkin-Koren, N. ‘The Invisible Handshake: The Reemergence of the State in the Digital Environment’, SSRN Electronic Journal 8(6), (2003): 1-57. 中文题名:《看不见的握手:国家在数字环境中的重新出现》。
  • Brouwer, M.T. ‘Weber, Schumpeter and Knight on Entrepreneurship and Economic Development’, Journal of Evolutionary Economics, 12(1), (2002): 83–105. 中文题名:《韦伯、熊彼特与奈特论企业家精神和经济发展》。
  • Braidotti, R. Transpositions: On Nomadic Ethics. Cambridge: Polity, 2006. 中文题名:《转位:论游牧伦理》。
  • Clarke, R. ‘Big Data, Big Risks’, Information Systems Journal, 26(1), (2016): 77–90. 中文题名:《大数据,大风险》。
  • Cooper, M. ‘Experimental Labour—Offshoring Clinical Trials to China’, East Asian Science, Technology and Society: An International Journal, 2(1), (2008): 73–92. 中文题名:《实验劳动:将临床试验离岸外包至中国》。
  • Cooper, M.E. Life as Surplus: Biotechnology and Capitalism in the Neoliberal Era. Seattle: University of Washington Press, 2011. 中文题名:《作为剩余的生命:新自由主义时代的生物技术与资本主义》。
  • Daly, A. ‘Neo-liberal Business-as-Usual or Post-Surveillance Capitalism with European Characteristics? The EU’s General Data Protection Regulation in a Multi-Polar Internet’, in Hoyng, R. & Pak Lei Chong, G. (eds), Critiquing Communication Innovation New Media in a Multipolar World. US–China Relations in the Age of Globalization, Michigan State University Press, 2022, pp. 29–54. 中文题名:《新自由主义的一切照旧,还是具有欧洲特色的后监控资本主义?多极互联网中的欧盟〈通用数据保护条例〉》;《批判传播创新:多极世界的新媒体;全球化时代的美中关系》。
  • Deloitte. ‘Risk Appetite Frameworks: How to Spot the Genuine Article’, 可见:https://www2.deloitte.com/content/dam/Deloitte/au/Documents/risk/deloitte-au-risk-appetite-frameworks-financial-services-0614.pdf, 2014. 中文题名:《风险偏好框架:如何辨认真货》。
  • Dhawan, N. ‘Can Non‐Europeans Philosophize? Transnational Literacy and Planetary Ethics in a Global Age’, Hypatia, 32(3), (2017): 488–505. 中文题名:《非欧洲人能进行哲学思考吗?全球时代的跨国素养与行星伦理》。
  • Easterling, K. Extrastatecraft: The Power of Infrastructure Space. London: Verso Books, 2014. 中文题名:《国家之外的治理术:基础设施空间的力量》。
  • The National New Generation Artificial Intelligence Governance Specialist Committee. ‘Ethical Norms for New Generation Artificial Intelligence’, 2021, 英文译本见: https://cset.georgetown.edu/wp-content/uploads/t0400_AI_ethical_norms_EN.pdf. 中文题名:《新一代人工智能伦理规范》。
  • Eubanks, V. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: St. Martin’s Press, 2018. 中文题名:《自动化不平等:高科技工具如何为穷人画像、监控和惩罚穷人》。
  • European Commission. ‘Regulatory Framework Proposal on Artificial Intelligence’,2022, 可见: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai#:~:text=The%20proposed%20AI%20regulation%20ensures,address%20to%20avoid%20undesirable%20outcomes. 中文题名:《人工智能监管框架提案》。
  • Galloway, A. Protocol: How Control Exists after Decentralization, Cambridge, Massachusetts: MIT Press, 2004. 中文题名:《协议:去中心化之后控制如何存在》。
  • Goddard, M. ‘The EU General Data Protection Regulation (GDPR): European Regulation that has a Global Impact’, International Journal of Market Research 59 (6, 2017): 703–5. 中文题名:《欧盟〈通用数据保护条例〉(GDPR):具有全球影响的欧洲规制》。
  • Gstrein, O.J. and Zwitter, A.J. ‘Extraterritorial Application of the GDPR: Promoting European Values or Power?’, Internet Policy Review [在线] 10(3) (2021), 可见: https://policyreview.info/articles/analysis/extraterritorial-application-gdpr-promoting-european-values-or-power. 中文题名:《GDPR的域外适用:促进欧洲价值观,还是欧洲权力?》。
  • Günther, W.A., Mehrizi, M.H.R., Huysman, M. and Feldberg, F. ‘Debating Big Data: A Literature Review on Realizing Value from Big Data’, The Journal of Strategic Information Systems, 26(3), (2017): 191–209. 中文题名:《争论大数据:关于实现大数据价值的文献综述》。
  • Floridi, L. ‘Soft Ethics and the Governance of the Digital’, Philosophy & Technology, 31(1), (2018): 1–8. 中文题名:《软伦理与数字治理》。
  • Foucault, M. Security, Territory, Population: Lectures at the Collège De France 1977–1978, G. Burchell 译。 New York: Picador, 2007. 中文题名:《安全、领土、人口:法兰西学院1977—1978年讲座》。
  • Hoelzl, I. and Marie, R. Softimage: Towards a New Theory of the Digital Image, Bristol, UK: Intellect Books, 2015. 中文题名:《软图像:迈向数字图像的新理论》。
  • Hristova, T. Data Infrastructures and Digital Labour: The Case of Teleradiology, 博士学位论文, Western Sydney University, Sydney, 2020. 中文题名:《数据基础设施与数字劳动:远程放射学案例》。
  • Hristova, T., Neilson, B. and Rossiter, N. ‘Digital Infrastructure, Liminality, and World-Making Via Asia| On the Block Train: Rethinking Block Technologies on the YuXinOu Express’, International Journal of Communication 15 (2021): 2613–2630. 中文题名:《数字基础设施、阈限性与经由亚洲的世界建构|集装箱班列:重新思考渝新欧快线上的区块技术》。
  • International Research Center for AI Ethics and Governance. The Ethical Norms for the New Generation Artificial Intelligence, China, 2021, 可见: https://ai-ethics-and-governance.institute/2021/09/27/the-ethical-norms-for-the-new-generation-artificial-intelligence-china/. 中文题名:《中国〈新一代人工智能伦理规范〉》。
  • ISO/IEC. 2022. International standard ISO/IEC DIS 23894. Information technology—Artificial intelligence—Risk management. International Organization for Standardization/International Electrotechnical Commission, (草案), 可见: https://www.iso.org/standard/77304.html. 中文题名:《国际标准ISO/IEC DIS 23894:信息技术——人工智能——风险管理》。
  • ISO/IEC 27001. Information security management. International Organization for Standardization/International Electrotechnical Commission, 2013, https://www.iso.org/standard/54534.html. 中文题名:《信息安全管理》。
  • ISO Guide 73:2009. Risk management—Vocabulary, International Organization for Standardization, 2009, https://www.iso.org/obp/ui/#iso:std:iso:guide:73:ed-1:v1:en. 中文题名:《风险管理——词汇》。
  • ISO 31000: 2018 Risk management—Guidelines, International Organization for Standardization, 2018, https://www.iso.org/obp/ui/#iso:std:iso:31000:ed-2:v1:en. 中文题名:《风险管理——指南》。
  • Johnson, G., Shriver, S. and Goldberg, S. ‘Privacy & Market Concentration: Intended & Unintended Consequences of the GDPR’, 2021, https://dx.doi.org/10.2139/ssrn.3477686. 中文题名:《隐私与市场集中:GDPR的预期及非预期后果》。
  • Kitchin, R. ‘Thinking Critically About and Researching Algorithms’, Information, Communication & Society, 20(1), (2017): 14–29. 中文题名:《批判性地思考与研究算法》。
  • LeCun, Y. ‘Deep Learning Hardware: Past, Present, and Future’, IEEE International Solid-State Circuits Conference-(ISSCC) 2019: 12–19. 中文题名:《深度学习硬件:过去、现在与未来》。
  • Metzinger, T. ‘Ethics Washing Made in Europe’, Der Tagspiegel, 8 April 2019, https://www.tagesspiegel.de/politik/eu-guidelines-ethics-washing-made-in-europe/24195496.html. 中文题名:《欧洲制造的伦理洗白》。
  • Munn, L., Hristova, T., & Magee, L. ‘Clouded Data: Privacy and the Promise of Encryption’, Big Data & Society, 6(1), (2019): 1–16. 中文题名:《云雾中的数据:隐私与加密的承诺》。
  • Murphy, C.N. and Yates, J. The International Organization for Standardization (ISO): Global Governance through Voluntary Consensus. Milton Park: Routledge, 2009. 中文题名:《国际标准化组织(ISO):通过自愿共识进行全球治理》。
  • Naden, C. ‘It’s All About Trust’, 2019, https://www.iso.org/news/ref2452.html. 中文题名:《一切关乎信任》。
  • National Institute for Standards and Technology. ‘U.S. Leadership in AI: A Plan for Federal Engagement in Developing Technical Standards and Related Tools Prepared in Response to Executive Order 13859’, 9 August 2019, https://www.nist.gov/system/files/documents/2019/08/10/ai_standards_fedengagement_plan_9aug2019.pdf. 中文题名:《美国在AI领域的领导地位:响应第13859号行政令制定的联邦参与技术标准与相关工具开发计划》。
  • Niebel, C. ‘The Impact of the General Data Protection Regulation on Innovation and the Global Political Economy’, Computer Law & Security Review, 40, (2021) 105523: p. 1–15. 中文题名:《〈通用数据保护条例〉对创新和全球政治经济的影响》。
  • Power, M. ‘The Risk Management of Everything’, The Journal of Risk Finance, 5(3), (2004): 58–65. 中文题名:《一切事物的风险管理》。
  • Productivity Commission. ‘Data Availability and Use: Productivity Commission Inquiry Report’, 2017. 可见: https://www.pc.gov.au/inquiries/completed/data-access/report/data-access.pdf. 中文题名:《数据可得性与使用:生产力委员会调查报告》。
  • Radu, R. ‘Steering the Governance of Artificial Intelligence: National Strategies in Perspective’, Policy and Society 40(2), (2021): 178–93. 中文题名:《引导人工智能治理:国家战略透视》。
  • Roberts, H., Cowls, J., Morley, J. et al. ‘The Chinese Approach to Artificial Intelligence: An Analysis of Policy, Ethics, and Regulation’, AI & Soc 36, (2021): 59–77. 中文题名:《中国的人工智能路径:政策、伦理与监管分析》。
  • Silverpond. ‘The Role of Ethics in AI Development, Implementation and Governance’, 2021, https://silverpond.com.au/ai-community/australian-ai-ecosystem-survey/aurelie-jacquet-2020-2021-australian-ai-ecosystem-survey/. 中文题名:《伦理在AI开发、实施与治理中的作用》。
  • Simmel, G. The Philosophy of Money, Milton Park: Routledge, 2004. 中文题名:《货币哲学》。
  • Standards Australia. An Artificial Intelligence Standards Roadmap: Making Australia’s Voice Heard. Final Report, 2020, https://www.standards.org.au/getmedia/ede81912-55a2-4d8e-849f-9844993c3b9d/1515-An-Artificial-Intelligence-Standards-Roadmap12-02-2020.pdf.aspx. 中文题名:《人工智能标准路线图:让澳大利亚的声音被听见。最终报告》。
  • Veracini, L. ‘Understanding Colonialism and Settler Colonialism as Distinct Formations’, Interventions, 16(5), (2014): 615–33. 中文题名:《将殖民主义与定居殖民主义理解为不同的构成形态》。
  • Wagner, B. ‘Ethics as an Escape from Regulation. From “Ethics-washing” to Ethics-shopping?’ in Bayamlioglu, E., Baraliuc, I., Janssens, L.A.W., Hildebrandt, M. (eds) Being Profiled, Amsterdam: Amsterdam University Press, 2018, 84–9. 中文题名:《作为逃避监管手段的伦理:从“伦理洗白”到挑选伦理?》;《被画像》。
  • Wilkinson, M., Dumontier, M., Aalbersberg, I. et al. ‘The FAIR Guiding Principles for Scientific Data Management and Stewardship’, Sci Data 3, 160018, (2016): 1–9. 中文题名:《科学数据管理与托管的FAIR指导原则》。
  • Yahoo Finance. Alibaba Group Holding Limited (BABA), 2022, https://finance.yahoo.com/quote/BABA/. 中文题名:《阿里巴巴集团控股有限公司(BABA)》。

注释