结论（Conclusion）

对这家公共广播机构（public broadcaster）而言，制造一个（民主的）算法是一项挑战。它要求协调（coordination）多个场域与多种理性，算法正是在一个早已确立、并且总是已经被秩序化了的世界中，于这些场域与理性之中得以实演（enactment）的。算法最终成为了什么，所反映的不仅是几千行代码的技术细节或所应用的计算；它同样反映了种种不同的社会秩序化（ordering），正是这些秩序化在形形色色既已确立并制度化的基础设施与实践中，使这些计算成为可能。与其认为算法在做某事（这一点固然不错），当我们想要开始理解、并有可能进而规制算法的权力时，更有成效的做法或许是更仔细地审视“做算法”（doing algorithms）究竟意味着什么。聚焦于所涉各种行动元（actant）之间的“居间性”（in-between-ness），也就是追问是什么将它们联结起来，以及算法及其主体的身份如何发生变化，能够为我们提供以不同方式做算法的手段。于是，对这一推荐算法之生成的描述，也能为我们留下若干关于数字社会秩序化过程的重要启示与洞见。首先，软件开发项目——其中也包括机器学习与人工智能（AI）应用的开发——不能仅仅被理解为一项技术事业。相反，这些开发项目是不同的社会、规范、法律与组织层面的要求和结构汇聚于一处的场域。因此，一个开发团队（dev-team）不仅组织着其自身学科的算法版本，还必须将不同的要求、想象与现实相互协调，才能使算法系统得以实现。由此，算法并不只是寥寥数行代码，而是一个行动者（actor）：它之所以能够存在，仅仅是因为它成功地将不同的行动者整合进自身的存在之中，其程度之深，甚至延伸至整个组织或法律机制。这当然也是一个社会日益依赖数字技术的结果，而这种依赖的程度在几十年前是无法想象的。问题的界定在发生变化，从纯属计算机科学领域的议题，转入经济、医学、公共媒体乃至战争等领域。但这也使我们有必要改变对待软件开发项目的态度。这些协调与算法反身性（algorithmic reflexivity）的场域必须有许多不同的人参与其中，他们能够把 n 维向量空间的理性转译为具体可感的法律或政治主张。从这一洞见中至少可以引申出三项要求：a）将计算理性转译为定性说明（qualitative accounts）的新形式，需要新的社会秩序化结构；b）价值设计（value by design）路径需要持久性（durability）；c）我们不要只关注算法，也要关注造就算法的平台与环境。上述每一点都是一项宽泛且可能大胆的要求，或许甚至是出于学术文体的需要而提出的，但我深信，如果我们想要理解机器学习与民主之间的复杂关系，其中每一项都十分重要，值得进一步的研究与投入。¶

转译理性（Translating Rationalities）

第一，我们迫切需要新的形式，将计算理性转译为在政治或法律辩论中可以与之相关联的东西。正如关于多样性（diversity）的讨论所表明的，以算法逻辑来表达某些理念与规范的尝试失败了，部分原因在于，有关多样性的话语始终是在一种关于我们所指为何的隐含理解之上运作的，而这种理解因此属于我们交谈中视为理所当然的储备。即便是在法律表述（见于德国联邦宪法法院的裁决及相关法律）与编辑们对这一术语的隐含理解之间所进行的转译，也表明多样性的表达是通过范例与实践习得的，而非通过数学表述。倘若某事违背了所设想的多样性理想，便有一些程序可以使之回到可接受的状态。或者借用常人方法学（ethnomethodology）的概念来说，有能力的参与者拥有将情境带回被视为正常之状态的方式。就算法系统而言，这类使情境常态化的程序仍然匮乏。尤其是，因为能够反身性地消解算法系统所产生之说明（accounts）的方法尚付阙如。吊诡的是，答案可能是更多而非更少的数据科学，更多而非更少的定量分析。但这种数据科学应当诞生于不同的秩序化系统，其专家拥有来自不同领域的知识。颇具讽刺意味的是，数据科学专家们自己已开始寻求外部专业知识（Ribes 2019; Ribes et al. 2019）。¶

若以多样性与推荐系统的问题为出发点，数据科学方法就必须与更具定性与诠释性的探究模式相结合，把编辑们的隐性知识转译为算法推理的形式。例如，通过推荐系统必须遵循的规则把不同的主题簇（cluster）联结起来，比如：如果向 user1 展示了许多来自簇 1（“国内政治”）的视频，那就向她展示来自簇 54（“国际文化”）的视频。然而，这就需要有方法来识别出存在这样的簇，继而制定出算法系统能够理解的规则——而且这需要来自至少两个不同领域的专业知识。¶

于是，治理算法系统就变成了协调不同的转译与秩序化时刻的问题，而不仅仅是实现直截了当的规范性假设与理念的过程。归根结底，我们可以扪心自问：如果我们想让开发者在狭义算法的脚本（script）与本体论中实现诸多不同的规范性说明，是否对他们要求过高了——或许我们也应当通过更广泛地改变算法系统来寻求解决方案。此外，机器学习的性质使得在开发过程中纳入不同形式的专业知识似乎并不足够——尽管这很重要。相反，也许需要一种更持久的解决方案。这就引出了我的第二个结论。¶

将价值设计制度化（Institutionalizing Value By Design）

价值敏感设计（value sensitive design）长期以来一直是这一讨论中的一个重要分支。Helen Nissenbaum（2001）相对较早地论证了计算机系统与数字应用确实体现着价值（另见 Friedman and Nissenbaum 1996）。由此得出这样的洞见：数字系统的价值可以通过协同设计（co-design）与价值敏感设计的过程加以调整。行文至此，这一点应不会令人意外。而且，已有许多有趣且有价值的项目与尝试，致力于构建更负责任、更合乎伦理的系统——其中也包括本书所依据的那个项目本身。例如，Zhu et al.（2018）提出了在算法设计过程早期就纳入不同利益相关者（stakeholder）及其专业知识的建议。Méndez Fernández and Passoth（2019）甚至将软件开发概念化为一门“交叉学科”（interdiscipline），它必然要纳入不同的理论、学科与社会视角。其他学者则提议通过数据可视化，使团队构成以及不同社会群体的贡献变得可见（D’Ignazio and Klein 2020），以便让团队构成中的问题显现出来。Diakopolous（2019）同样认为，采用价值设计路径对于实现算法问责（algorithmic accountability）至关重要。已经有一个非常活跃的社群在寻求于数字技术中实现价值敏感设计。然而，Diakopolous（2019）也认为，评估是算法问责的一个基本要素（另见 Jones and Jones 2019）——它超出了算法系统的开发阶段。而且——我想在此补充——由于机器学习与算法系统的网络化性质，这一点就更是如此。¶

机器学习在很大程度上依赖于基于观察数据来计算和应用模型的持续过程。然而，正如我们所见，数据本身就需要大量投入诠释与合理化的工作。我所称的算法反身性，就是以一种包含并使人能够理解数据生产过程的方式，将数据与算法对齐的过程。这些过程由此从不脱离一个更广泛的、在实践中达成的秩序——因而其本身就是历史性地偶然的。因此，即使在模型只训练一次、随后不再改动便加以应用的场合，相关社会秩序（化）［social order(ings)］配置的变迁，也可能改变算法系统的整个身份。算法反身性对于所指涉的情境而言就不再适切——可以说，算法不再是一个有能力的成员了。对于那些持续学习的应用而言，这就更成问题了，推荐系统恰恰如此。模型被定期重新计算，因而会对用户的实践作出反应。^[1] 因此，在这两种情形中，规范性评估也都必须持续进行。每一次计算都必须对照规范框架加以评估，仿佛又是一次新的初次评估——而倘若算法系统出现偏离，就要将其带回我们认为可以接受的状态。然而，这就要求我们彻底重新思考面向机器学习的价值设计路径，并思考制度化与组织化的解决方案。因此，我在上一节提到的软件开发项目的治理，必须在那些被界定为对我们的民主而言敏感的领域中成为一种常设状态。就这家公共广播机构的推荐系统而言，这样的解决方案可以是设立一个独立部门，尝试持续监测推荐的多样性。¶

因此，算法规范性（algorithmic normativity）并不是通过在算法开发过程中纳入伦理学或社会科学专家来实现的，因为这些联盟只是暂时的，终将自然终结。相反，我们必须以持久的结构来对抗持久的算法，从而改变其身份。要创造民主的算法，我们就必须建设并扩展我们的民主制度（institution）。如此一来，民主的算法便成为民主的计算过程。¶

笨蛋，问题在于平台经济！（It’s the Platform Economy, Stupid!）

一本关于算法的书以主张开展更多平台研究（platform studies）作结，或许显得有些奇怪。然而，我并不认为这是一个“非此即彼”的问题。我在全书中讨论的是算法的网络化性质，以及我们应当把算法理解为从不同秩序化系统中涌现出来的东西——这一理解也将其技术上的抵抗考虑在内。然而，在我所讨论的推荐系统案例中，一再清楚地显示出，算法的实现受到了既已存在的秩序化的阻碍——或者至少被大幅改道。算法最终成为的样子，是一种可能性的艺术（the art of the possible），因为其他秩序化系统就是更持久、更有力。尽管这一点在公共广播组织的案例中十分明显，但这一洞见可以适用于一切涉及算法或机器学习的场合。举一个相当著名的例子，我们可以问问自己：Cambridge Analytica 事件——数以百万计的用户档案被从 Facebook 上抓取，用以针对美国公民以影响其投票行为——在一个不同的环境中是否还有可能发生？所描述的算法的应用是高度成问题的。然而，同样成问题的，是那个首先为其提供了实现手段的环境。平台很重要，这并非什么新的洞见（例如参见 Gillespie 2018; Zuboff 2019）。然而，这家公共广播机构的案例表明，平台政治与算法系统的可能性条件是如何相互缠结的。因此，规制或干预算法的生产固然重要，但同样重要的是干预我们日常生活与政治生活的核心平台。如果在理解算法权力（algorithmic power）的同时不理解平台的社会技术秩序，我们将走到一个对二者都无从把握的境地。不过，这可以朝不同的方向发展。将协调不同的实演作为一种组织形式，也将开启把不同平台整合进一个共同结构的可能性：在这一结构中，审计（auditing）、以民主方式设立的基础设施，以及将规范性说明转译为技术手段的途径，由一个在政治上与民主上具有正当性的制度来提供。通过这样一种公共算法基础设施，为敏感领域中的算法权力提供可能性条件的环境，将会向干预以及伦理、道德与法律的推理开放。¶

现代的算法（Modern Algorithms）

如前所述，如果我们想要理解并干预算法系统共同建构我们社会的方式，它们便带来了种种不同的挑战。然而，它们所扰动的不仅是我们的规范体系，还有我们对现代性（modernity）的整体理解。Lyotard（1984）有一个著名的宣称：由于宏大叙事（grand narratives）正在消逝，我们正进入一种后现代主义（postmodernism）的状态。按照这一论证，我们的时代不再有一个推动它的共同建构，无论那是进步、对自然的支配，还是启蒙。针对这样的论证，Latour（1993b）同样非常著名地提出了“我们从未现代过”这一说法，因此，除了“我们曾拥有一个共同叙事”这一叙事之外，没有什么可以失去。机器学习似乎是这些争论的逻辑延续。关于人工智能与机器学习的讨论总体上所表明的，以及本书的各个小插曲（vignette）具体所表明的，是我们几乎无法再维持对自然的支配这一理念，或一种共同而普遍的理性的叙事。算法系统在其所产生的一切议题与问题之中，就其计算逻辑而言都是理性的。但这是一种我们无从把握的逻辑，以至于我们坐在电脑屏幕前，看着神经网络或潜在因子向量空间的可视化，扪心自问：这究竟意味着什么？多数时候它意味着：它起作用了，它解决了一个问题。机器学习技术不是依据它们提出的论证或我们借以推导出的普遍法则来评估的，而是依据这样一个事实：在给定数据集与问题上——比如用于手写数字图像识别的 MNIST 数据库——它们比其他模型的表现高出一个百分点。这进而在认识论与社会理论中同样引发了诸多问题。其一是算法客观性（algorithmic objectivity）的问题。正如 G. Rieder & Simon（2016）所论证的，算法被视为客观而中立的实体，它将对数字的信任（Porter 1995）转译到算法领域之中。然而，正如 Daston and Galison（2010）所阐明的，客观性是一项集体成就，需要沟通、协调与规训（discipline）。鉴于我们在理解机器学习的推理方面所面临的问题，甚至在严格受控的环境之外都无法对它们进行相互比较，这又会如何影响当代社会中的客观性观念？什么算作客观的，又为何如此？而我们又有哪些手段，或许无论如何仍能建构出客观性？¶

第二个问题，或许也是大得多的问题，触及核心的社会学理论，尤其是与社会分化（social differentiation）理论相关的部分。既然洞察到现代性的自我描述正受到这些新技术出现的挑战，我们也可以得出结论：社会学推理同样如此，因为按照 Eisenstadt and Curelaru（1976）的说法，社会学推理本身就是现代性的产物。我在全书中所讨论的，可以被解读为一个关于不同社会子系统（subsystem）及其因各自不同的系统内部代码（code）而产生之问题的故事。这些系统中的每一个——姑且暂时这样称呼它们——都履行着某种功能，无论是在组织内部、在政治系统中，还是在科学系统中。然而与此同时，这些不同的系统又经由特定的行动者配置相互作用，使特定形式的行动元——亦即客体与主体——成为可能。那么，我们在此观察到的是何种形式的分化？不同的子系统又是如何被整合（integration）的？由于分化这一概念本身也需要稍加区分，这些问题就变得更加复杂。在经典路径中，例如 Durkheim（[1893] 2014）那里，分化的主要形式是复杂社会中的劳动分工。通过共同体内单个行动元的持续专门化，生产力提高，更复杂的社会结构形式成为可能。然而，这也需要新的整合形式，因为现代社会的这些单个要素变得相互依赖。Durkheim 强调了组织与国家在促进现代社会整合方面的作用。Norbert Elias 则从不同的理论构想出发，即个体行动元之间关系的不同配置——他称之为“型构”（figuration）——以及这种配置如何在一个历史过程中导致权力的垄断。与 Durkheim 相反，Elias（[1939] 2000）认为分化是这种垄断的结果，因为垄断如今能够以自我指涉的方式开始界定不同的生产标准，并使它们彼此关联。然而，整合的机制在二者那里原则上是相同的。如果我们采取本书所讨论的那种以实践为导向的、物质符号学（material semiotic）的立场，就可以提出这样的问题：在数字化社会中涌现出了哪些物质性与基础设施性的整合形式——以及在可观察到的多重本体论与多重秩序化的条件下，整合是否甚至被过分强调了。类似的观察也可以针对其他分化概念作出，这些概念被归为系统论（systems theory）路径，首推 Parsons 与 Luhmann。两位理论家都提出了一种社会系统理论，尽管方式不同。对 Parsons（1971）而言，一个社会必须履行某些功能，才能维持稳定的均衡并确保自身的存续。这最终导向了 Parsons 著名的 AGIL 图式。这一理论构想的妙处（clou）在于，每一个子系统都必须为自身维持同样的功能——从而导致功能的无限递归。这使得人们可以把每个现代社会中的行动系统归入一个有助于维持社会结构的功能子系统。与 Durkheim 或 Elias 的路径不同，整合并不是一个更高层级的秩序化系统，而是与其他功能并列的一项功能。Luhmann（1996）作为 Parsons 晚年的学生，后来批评了 Parsons 的路径，并基于关于自我生成（autopoietic）且运作上封闭之系统的控制论思想，提出了他自己的社会分化理论。Luhmann 意义上的分化不再取决于必须加以维持的结构，而取决于各种沟通系统的分化，这些沟通系统是一个统摄性的、自我观察的社会系统的产物。^[2] 涌现出哪些系统，是一个演化过程的结果，无法预先确定。然而，每一个系统都以其自身的沟通代码与运作来工作，例如经济系统中的“支付/不支付”，或政治系统中的“有权力/无权力”。不过，这两种系统分化路径都引发了关于算法与机器学习在其中扮演何种角色的问题。正如我在全书中所阐明的，机器学习处于这些不同的子系统之间，联结着不同的理性与不同形式的沟通代码。借此，它使参照框架——即组织或更大的共同体，这对 Parsons 而言是一个至关重要的要素——多重化，同时又在不同社会技术子系统的运作结构之间架起桥梁。¶

这些对分化理论的简短聚焦——当然——无法公允地呈现那些复杂与细致得多的理论。而且还有许多理论是我在此无法触及的。然而，我试图表明的是，这里有值得追问和探索的东西：算法与机器学习对我们关于现代社会的理论化提出了问题。而这些问题已经开始受到关注，主要是在德语学界的语境中：在那里，“社会”这一概念从实用主义（pragmatist）视角受到质疑（Renn 2006），或者如 Gesa Lindemann（2019）那样，提出一种更多考虑技术发展的分化理论。与此处所提问题最为一致的路径，或许是“碎片式分化”（fragmental differentiation）的概念（Passoth and Rammert, 2019）。这也与 Latour（2013）的工作形成良好的共鸣：他描述了不同的存在模式（modes of existence），其方式可以被解读为一种关于分化的社会理论。他在那里识别出诸如政治、科学或法律之类彼此不同的模式——这在 STS 路径与社会分化理论之间架起了一座颇有前景的桥梁。因此，在构建不仅是社会的、而且是社会技术的分化之新理论方面，已有一些有趣的分支，它们可以成为追问机器学习在现代社会中之角色的一个有意思的出发点。对于这些问题，我在此一个也无法回答，而尝试给出一个答案，很可能——至少——需要单独写一本书。但这些问题以及其他许多问题都值得追问，因为机器学习与人工智能对我们的当代社会以及我们的社会理论构成了严峻挑战。¶

最后，作为本书一个但愿积极的结尾，我想说，所有这些问题、论证与阐述，都源于对这一主题的真切着迷。本书的目的不是警告人类提防算法，也不是把我们从天网（Skynet）手中拯救出来。我喜欢编程，喜欢埋头于数学公式，喜欢潜入成堆的数据，也喜欢拿 /dev/random 开些极客玩笑。归根结底，我想理解是什么驱动着这些我们称之为算法的实体，以及它们如何成为一个我们称之为民主的更大系统的一部分。然而，套用 Kranzberg（1986）的话说：算法既无好坏之分，也并非中立。因此，我们应当找到与之共处的方式，这种方式要是我们认为积极的，并且与我们的当代民主相容。¶

注释