[4] 让人工智能出柜：清算图灵测试

本杰明·H. 布拉顿（Benjamin H. Bratton）¶

Outing Artificial Intelligence: Reckoning with Turing Tests¶

关键词：共情、拟人论、奇点、人工智能、模仿、图灵测试¶

引用信息：载《心灵的小巷：增强智能及其创伤》（Alleys of Your Mind: Augmented Intelligence and Its Traumas），马泰奥·帕斯奎内利（Matteo Pasquinelli）编，第 69–80 页。吕讷堡：meson press，2015 年。DOI: 10.14619/014¶

种种人类中心主义的谬误，阻碍了人工智能作为一套基础广泛、为人普遍理解的技术的发展。艾伦·图灵（Alan Turing）著名的“模仿游戏”（imitation game）是一个巧妙的思想实验，但它也极易导致这样一种做法：依据机器认知与某种虚假的人类典范智能规范之间表面上的相似程度，来划定机器认知的门槛。然而，否认这种脆弱的自我映照，要比沿着更加异质的光谱为人类的智慧、勤勉与能动性构想出替代性的角色容易得多。随着各种形式的机器智能日益基础设施化，这一困难的意涵既是哲学性的，也是地缘政治性的。¶

［有一位哲学家］声称他知晓全部的秘密……［他］从头到脚打量着这两位天外来客，当着他们的面坚称：他们的身体、他们的世界、他们的太阳和星辰，都是专为人类之用而创造的。听到这番论断，我们的两位旅人笑得东倒西歪，彼此靠在对方身上，陷入了一阵……无法遏止的大笑。

——伏尔泰（Voltaire），《微型巨人：一部哲学故事》（Micromegas: A Philosophical History，1752）

人工智能（AI）正当其时，从斯蒂芬·霍金（Stephen Hawking）到埃隆·马斯克（Elon Musk）等行家近来纷纷发表看法。^[1] 关于人工智能究竟会拯救我们还是毁灭我们，各方立场分歧。有人认为人工智能永远不可能存在，另一些人则坚称它的到来不可避免。然而在许多情况下，这些论战或许都错失了真正的要点：与一种和我们自身截然不同的合成智能一同生活、一同思考，究竟意味着什么。简言之，成熟的人工智能并不是一种为我们而存在的智能，其智能也未必类似人类。为了我们自身的理智与安全，我们不应要求人工智能假扮成“人”。这样做弄巧成拙，不合伦理，甚至可能是危险的。¶

在史蒂文·斯皮尔伯格（Steven Spielberg）的《人工智能》（A.I. Artificial Intelligence，2001）中，那个小男孩机器人用他那颗小小的金属心全心全意地想成为一个真正的男孩；而《终结者》（Terminator）系列电影（1984–2015）中的天网（Skynet）则代表着光谱的另一端，一心要确保人类灭绝。尽管现代性带来了种种哥白尼式的创伤，某些形式的人文主义（以及与之相伴的人性形象）仍然自以为高踞宇宙法庭的中心。我主张，我们应当抛弃这样一种自负：一个“真正的”人工智能一旦获得感知力或智慧，就必定会深切关怀人类——具体地说就是我们——并以之作为其认识与欲望的焦点。或许真正的噩梦，比那台大机器想要杀死你的噩梦更可怕的，是它视你为无关紧要，甚至根本不把你当作一个可以认识的独立事物。比被视为敌人更糟糕的，是根本不被看见。或许这才是我们对人工智能真正的恐惧所在。^[2]¶

我们首先依据自己对智能的理解——也就是人类智能——来思考人工智能，这并不令人意外。这种人类中心主义的谬误作为出发点是合理的，但作为结论则不然。以人工智能能否“冒充”（pass）为人来界定它，这一想法与人工智能研究本身一样古老。1950 年，艾伦·图灵发表了〈计算机器与智能〉（“Computing Machinery and Intelligence”）一文，描述了我们今天所称的图灵测试，他本人称之为“模仿游戏”（Turing 1950, 433–460）。这一测试有不同版本，每个版本都揭示出我们对待人工智能的文化与伦理的方式何以如此，无论好坏。在最为人熟知的版本中，一名人类提问者向两名隐藏的参赛者提问，一个是人，另一个是计算机。图灵提出：如果提问者通常无法分辨谁是谁，如果计算机能成功地冒充人类，那么出于实际目的，我们难道不能断定这台计算机是“智能的”吗？（“知道”图灵这篇奠基性文本的人，多于真正读过它的人。这很遗憾，因为这篇文本奇妙、古怪而又出人意料。）¶

图灵提出的测试是对一种流行的客厅游戏的变体：在那个游戏中，两名隐藏的参赛者，一名女性（玩家 A）和一名男性（玩家 B），通过对诱导性问题的书面回答，试图让第三人相信自己是女性。要获胜，一名玩家必须令人信服地做回其真实的自己，而另一名玩家则必须设法冒充另一种性别。图灵把他自己的变体描述为“由一台计算机取代玩家 A 的位置”，因此按字面解读，在他的版本中，计算机不只是在假扮人类，而是在假扮女性。它必须冒充成一个“她”。另一些版本则规定玩家 B 可以是男性，也可以是女性。究竟是只有一名玩家在作假，还是两名都在作假，抑或都没有，这一点关系重大。既然我们给了计算机一个席位，它就可能与一个假扮女性的男性一同假扮女性，双方都试图诱使提问者去判断谁是男性、谁是女性。或者，计算机也许假扮成一个假扮女性的男性，与一个假扮女性的男性同场；甚至是一台计算机假扮成一个女性，而这个女性又假扮成一个假扮女性的男性！当然，在现实世界中，以上种种我们全都有。^[3]¶

然而，作假的问题并不止于此：事情并没有那么简单。正如莫滕·泰杜姆（Morten Tyldum）执导的近期图灵传记片《模仿游戏》（The Imitation Game，2014）所戏剧化呈现的，这位数学家本人也不得不“冒充”——就他而言，是在一个将同性恋入罪的社会里冒充异性恋男性。当人们发现他并非表面看上去的那样时，他被迫接受被称为化学阉割的可怕医学治疗。最终，身体与情感上的痛苦令他无法承受，他自杀了。对于一个不久前刚为击败希特勒的军队作出贡献、而这一贡献当时仍属国家机密的人而言，这段经历是一种荒诞的“致敬”。图灵直到最近才获得身后赦免，但根据类似法律被判刑的数以万计的其他英国男性却没有。人们会注意到其中苦涩的反讽对应：一方面，要求人工智能通过测试才能被认定为智能的——也就是冒充人类智能；另一方面，是图灵自己不得不隐藏同性恋身份、冒充异性恋男性。这两种伪装的要求都是不必要的，也是极不公正的。¶

倘若复杂的人工智能真的到来，它不会类似人类，除非我们坚持要它假装如此——因为，人们猜想，智能可以同时既是真实的又是非人的，这一想法在道德上和心理上都令人无法忍受。与其助长这种偏执，我们不如承认，在我们的宇宙中，“思考”远比我们自身这一特定情形更加多样，甚至更加异质。人工智能真正的哲学教益，与其说在于人类教机器如何思考，不如说在于机器教会人类：思考可以具有何等更完整、更真实的范围。¶

清算非人

这种认识应当涵盖两种相关但不同的理解。第一，人们会认识到，智能（以及知识）总是分布于多种位置与生命形式之中，这些位置与生命形式彼此既相似又相异。这并不是说“没有什么是真的，一切都是被允许的”，而是说，在如何智能地思考这一问题上，没有任何单一的神经解剖学构造享有特权性的垄断。要么根本不存在所谓“一般”智能（而只存在各种处境化的、有限智能的类型，而人类只是其中之一），要么一般智能确实存在，但其一般性本身——它所实现的普遍抽象——对于由何种实体来中介它是不可知论的。无论哪种情况，人类的智慧都是特殊的，但并非独一无二。这种认识会把人工智能视为一种寻常现象，与人类智能置身于其他智能模态（例如非人类动物的认知）之中的其他方式并无太大不同。¶

第二，我们对这一更广阔连续统的认识也会承认，通用人工智能（artificial general intelligence，AGI）的可能到来同样是新颖的、迄今未得到解释的，并将要求人类与以机械方式处境化的智能之间发生前所未有的遭遇。就此而言，人工智能又是高度非同寻常的。这两点都是真的，而且或许只有理解了其中之一，我们才能真正实现另一个。也就是说，或许只有直面那些拥有如此能力与自主性的非碳基智能真正新颖之处，我们才能充分认识到我们的智能一直以来所嵌入其中的那个智能连续统。简言之，关于人工智能的哲学讨论的一个间接成果，或许是对非人类动物的认知与主体性有更广泛的体认。¶

在某些话语中，这种结合被驯化于一种过于圆滑的“后人类主义”（posthumanism）或一种超验地以人类为中心的“超人类主义”（transhumanism）的名号之下。前者的种种变体无论如何都颇有可取之处，后者的某些版本本来也应如此，但最终大概并非如此。这里的关键，与其说是放弃人（以及非人）在那一扩展了的连续统中是什么、能成为什么，不如说是对占主导地位的人文主义形式加以限制性的语境化。雷扎·内加雷斯塔尼（Reza Negarestani 2014）在〈非人的劳作〉（“The Labor of the Inhuman”）一文中坚持了这一点。他主张，若轻易而过度简化地把那些落在各种偶然规范——无论是道德规范还是机械规范——之外的思想与经验形式命名为“非人类的”，就等于一开始便抛弃了人作为一项哲学与工程计划所具有的内在可变性。也就是说，人类智慧的相对独特性，并不是把人锁定为一个具有本质边界的单一固定事物的东西；恰恰相反，正是它使人之为人成为一项持续自我重塑的开放计划，既无法由本质也无法由目的（telos）来验证。¶

在就人工智能考虑这种能力时，能够使一种不受物种或门类约束的一般智能得以成立的，或许是其抽象能力。雷·布拉西耶（Ray Brassier 2014）指出，一个有机体——无论多么原始——依据朋友、食物或敌人这些基本项来绘制其周遭环境的能力，或许是一种原初的抽象；我们与其说是从这种抽象中“毕业”，不如说是学会将其发展为某种类似理性及其在人类那里的种种局部变体的东西。这样看来，绘图式抽象并不是事物在通往更复杂智能形式途中所经过的一个早期阶段，而是那一复杂化过程的一般原则。正如原生动物及其神经节四处摸索以弄清外面有什么，正如人类观看、品尝并想象种种模式，今天的人工智能形式（有时）也借助各种机器视觉技术而得到增强，使它们能够看见并感知“外面”的世界，并抽象出一种（以机械方式）具身的智能的形式——这些形式既有为它们刻意编程的，也有出乎意料地涌现出来的。¶

一方面，人工智能的成就可能体现的是如今经由一种新媒介运作的一般智能；另一方面，它也可能只是被编入某种认知假体中的、局部人类智能的特定投射。究竟应在何处划出两者的分界线，目前尚不可知，也无从得知。同样，其中一方可能是另一方的前提。与此同时，我们至少可以推测：我们如何才能知道该在何处划出这一区分。与此相关的考量包括：我们如何试图把愚蠢编入人工智能，以及我们如何试图让它们浸润于我们视为最精微的伦理推理形式之中。当这两者中的一方支配另一方之时，便是一个值得深究的怪异时刻。¶

何以如此？在人工智能研究中，“人工白痴”（artificial idiocy）与“人工愚蠢”（artificial stupidity）之间有一个重要区分。人工愚蠢是通过压制系统的性能来实现的，以便让人机交互更加舒适，例如，某些变化与质感被编程设定，好让人类一方感觉自然。若火力全开，你手机上的国际象棋程序每一局都能赢你，但那还有什么乐趣？人工白痴则是指一个系统灾难性地成功执行了它的程序，以至于达到乃至越过了某种白痴般的极端。“回形针最大化器”（paperclip maximizer，如 Bostrom 2003 所描述）是一个思想实验，描述一个人工智能如此成功地执行了将所有可用材料变成回形针的程序，以至于最终吞噬了地球，并在此过程中毁灭了人类：回形针如此之多，可供夹的纸却如此之少。在这里，人工智能出了差错，并不是因为它被压制了性能，不是因为它发生了故障，也不是因为它憎恨我们，而是因为它恰恰做了我们训练它去做的事，而结果对我们极为不利。¶

一如既往，科幻小说是煤矿里的金丝雀。想一想斯坦利·库布里克（Stanley Kubrick）与阿瑟·C. 克拉克（Arthur C. Clarke）的《2001：太空漫游》（2001: A Space Odyssey）中的 HAL9000（我会说，这部作品真正讲述的是 HAL 与外星智能之间隐秘关系的戏剧，而非人类与这场心智三角关系中其他任一角色之间的关系）。经过一番晦暗不明、未加解释的思虑之后，HAL（我们假定它是按照阿西莫夫的机器人三定律^[4]训练的，并具备最好的伦理推理能力）得出结论：人类宇航员应当被清除。前往木星附近接触外星存在的任务实在太重要了，不能容许他们干扰。这个人工智能原来是最深层的深层生态主义者。那么，HAL 的行为是人工愚蠢还是人工白痴，抑或两者都不是？这是一次小故障、一次崩溃、一个终极错误吗？还是说，这是我们编入 HAL 之中的道德推理清醒而必然的结论——一种如今反过来砸回到我们身上的理性？与那些思考如何以正义战争的教义问答来训练军用机器人的机器人伦理学家相比，HAL 的伦理抽象究竟是对那套教义程序的违背，还是它的登峰造极？¶

种种测试

回到图灵测试，我们不禁要问：以人工智能能否模仿人类所认为的人类思考方式，来界定人工智能的存在本身，这种愿望日后回头看来，是否会被视为一种怪异的物种主义？这一遗产也曾把早期的人工智能研究引上令人失望、徒劳无果的道路，寄望于自上而下地重建人类心智。正如斯图尔特·拉塞尔（Stuart Russell）与彼得·诺维格（Peter Norvig，现任谷歌研究总监）在其人工智能必读教科书《人工智能：一种现代方法》（Artificial Intelligence: A Modern Approach，2009）中所指出的，生物形态的模仿并不是我们设计复杂技术的方式。飞机并不像鸟那样飞行，我们当然也不会为了检验飞机是否“真的”是飞行器，而试图骗鸟相信飞机就是鸟。那么，为什么要对人工智能这样做呢？如今，绝大多数核心人工智能研究并没有把图灵测试当作任何类似成功的核心标准，然而在我们关于人工智能的一般话语中，这一测试的人类中心主义仍然具有如此重要的概念地位。就像迪士尼电影里说话像青少年一样的动物，其他心智大多只能借由幼稚的腹语术才能被设想。^[5]¶

当代人工智能研究以更具体、更动态、更有效的方式处理“智能”。一种合成智能可能在做某一件确定的事情时相当聪明，而在其他一切事情上则完全愚笨。研究也关注涌现的群体智能，以及智能在诸多行动者之间的分布——这些行动者彼此或许知晓、或许不知晓对方的存在，却通过互动共同产生智能（例如成群飞翔的椋鸟、股票市场以及神经元网络）。任何特定的物质构成能够被称为“智能的”门槛，与其说关乎把人性反射回我们自身，不如说关乎检验我们设想“智能”可能为何物之多样性的能力。（在某些方面，这种积极的不确定性与地外生命问题、“与异类沟通”问题以及我们从种种背景噪声中辨识出智能模式的能力相平行。^[6] 如果我们关于异类“生命”的观念完全错误，我们又怎么知道它们是否正试图与我们沟通？）¶

识别问题也与机器人伦理中的问题相关联。^[7] 我们每个人都将面对各种看似智能的机器，其中一些由人远程控制或编程，一些可能在很大程度上是自主的，而大多数将是两者的某种混合，同时受制于人类与非人类的控制。^[8] 网站用来识别人类的 CAPTCHA 程序是一种反向的图灵测试，用户要么通过、要么不通过，是或否。但对于日常的人机交互而言，定位智能的问题将不会是一个只有二元答案的是非题。让我们别再那样提问了。¶

更好的做法是考察识别在对话中我们这一侧是如何运作的。作为一堂真正的唯物论祛魅课，我们或许可以，例如，在机器视觉看待人脸与人形时那种诡异的冷漠方式中，看到一种“反向恐怖谷”（inverse uncanny valley）效应。显然，制造一个让人相信它有情感的机器人（并且反过来，人也会对它产生情感，无论是正面的还是负面的），要比制造一个真正拥有这些情感的机器人容易得多。人可能从人工智能那里感受到爱、恨或慰藉，但他或她是在解读线索，而不是在探测感情。看似共情的东西，其实是一种被误认作相互承认的单向投射（就像图灵测试本身一样），并不基于任何相互的团结。¶

对于类似 Siri 的界面，例如斯派克·琼斯（Spike Jonze）的电影《她》（Her，2013）中的萨曼莎（Samantha），与其说这个人工智能是在“冒充”，不如说“她”是在扮装（in drag）。用户知道她/它不是一个人类个体，但愿意也能够搁置怀疑，以便让互动（对人类用户而言）更加熟悉；对于华金·菲尼克斯（Joaquin Phoenix）饰演的西奥多（Theodore）来说，也更加可爱。在这部虚构作品中，或许相互的认同是真实的，但即便如此，这个人工智能最终也厌倦了它那由灵长类构成的用户群，告辞而去。¶

在另一些虚构作品中，对模仿游戏的监管则是生死攸关的事。雷德利·斯科特（Ridley Scott）根据菲利普·K. 迪克（Philip K. Dick）的小说《仿生人会梦见电子羊吗？》（Do Androids Dream of Electric Sheep?，1968）改编的电影《银翼杀手》（Blade Runner，1982），其情节围绕着区分人类与复制人的沃伊特－坎普夫（Voight-Kampff）共情测试展开。复制人在两个重要方面受到压制：它们在短短几年后就会到期报废，而且据称它们的共情能力大为削弱。哈里森·福特（Harrison Ford）饰演的德卡德（Deckard）必须“退役”一批叛逃的复制人，但他首先得找到它们；在这个虚构世界中，图灵测试的门槛被武器化，以免复制人冒充人类、僭越其本分。到影片结尾，德卡德（他本人也许是、也许不是复制人）对复制人渴望“更多生命”的愿望产生了共情，而可以说它们——至少罗伊·巴蒂（Roy Batty，鲁特格尔·哈尔［Rutger Hauer］饰）——似乎也对德卡德自身的困境抱有共情。他的困境（也是我们的困境）在于：为了强化以共情之有无来界定的人类与人工智能之间的鸿沟，德卡德必须压抑那种据说使他成为独特人类的共情。通过迫使他压制自己对那些据说无法回报共情的复制人的认同，这一区分原则为了维持自身，就必须违背自身（另见 Rickels 2010）。¶

人机交互中的图灵测试门槛，把我们置于一个与德卡德并无太大不同的位置；即便现在还未完全如此，日常人工智能在不久的将来所带来的怪异也会让我们陷入这一处境。若没有更好的理解框架，我们将无法通过即将到来的种种测试。投射与情感上的填补空白，作为理解我们与各种形式的合成智能之遭遇的伦理与政治基础，实在过于脆弱。¶

冒充

有些冒充完全无害，甚至恰恰相反；而另一些则危害甚大。模拟本身并不是问题。在其 1950 年的论文中，图灵给出了前一种情形的一个例子：他讨论了一台能够计算任何被表述为离散状态序列之问题的数字计算机，如何能够——用他的话说——“模仿”任何其他机器。这种模仿是将计算理解为一种通用技术的基础，这种技术能够逼近任何计算，包括足以模拟人类人格的计算。另一些模仿则与其说关乎变形，不如说关乎解释。例如，我们说插头与插孔有公母之分，在这种情形中，技术的性别化与其说关乎其计算能力，不如说关乎我们将其拟人化的需要。^[9] 约瑟夫·魏泽鲍姆（Joseph Weizenbaum）的心理咨询师聊天机器人伊丽莎（Eliza，1966）以貌似富于洞见的提问形式，将人类输入中的线索重复回去，而用户有时会沉溺于他们从这些简单线索中感受到的看似无限的共情。^[10] “智能”有时在很大程度上存在于观看者的眼中，存在于我们去解读人工造物的动机之中，存在于我们以自己寻找模式的投射来填满周遭空间的愿望之中。¶

然而，对于那些确实拥有某种有意义智能的人工智能而言，反讽之处在于：我们不是幻想出某种不存在的东西（如伊丽莎的情形），而是没能看见某种确实存在的东西，因为它与我们的期待不相符。冒充为某种人——白人或黑人，男人或女人——归根结底取决于他人看到并解读出什么，因为其他所有人都早已愿意依据惯常的线索（种族、生理性别、社会性别、物种等）来解读某个人。冒充者——无论是谁或是什么——与他、她或它在其面前表演的那些人之间的共谋，决定了冒充能否成功。人工智能是否真的在试图冒充人类，抑或只是以人类的样子扮装，那是另一回事。这场诡计真的全然只是一场游戏吗？还是像对于某些在日常生活中被迫冒充的人那样，是一种必不可少的伪装？无论哪种情况，这场诡计的规则往往更多地揭示了观众，而非表演者。^[11]¶

观看西尔夫加特（Sylvgart）的传记片时（尤其是图灵被一名警察审讯的那场戏），我想起了“萨曼莎·韦斯特”（“Samantha West”）的故事。这是一个电话推销机器人，当来电者质问它时，它会一再坚称“她”是一个“人”，而不是“机器人”。^[12] 听着她恳求的录音，人们不由得对她/它心生同情。她/它并不“知道”自己不是人，因此也不会因这种错认而感到痛苦；但是，只有当一种合成智能帮我们一个忙、（拼命地）试图冒充人类时，我们才觉得与它交谈没有问题——这又说明了我们什么呢？如果在回答“你是人吗？”这个问题时，她/它这样回应会怎样：“不是！你疯了吗？我是一组算法和音频文件的集合，为你——一个无法接受复杂的功能性智能会有许多不同形式这一想法的、恐惧机器人的人类——模拟与另一个人交谈的体验。”？¶

好处与危害

人们或许会问，这其中真正的伤害在哪里？如果我们希望日常人工智能以一种富有人情味的方式令人愉快，那又怎样？答案是：与合成智能建立一种更加真诚、更加祛魅的关系，我们会有很大收获；而靠维持生命的器械让种种幻象苟延残喘，我们则会损失很多。一些哲学家撰文讨论作为有感知实体的人工智能的伦理“权利”，但那并不真正是我在这里要讲的重点。毋宁说，更真实的视角，对作为有思想的技术性造物的我们而言，也是更好的视角。危害包括：无意中认可了无法忍受的痛苦，误判来自人工智能的真实风险，错失获得新知识的机会，以及误解应当如何设计人工智能（以及一般而言的技术）。只在自我映照中看待合成智能，我们便对实际上正在发生的其他一切视而不见；这不仅在认识论上是不诚实的，还可能为可怕的苦难提供担保。例如，鲸目动物，如鲸鱼和海豚，拥有语言，但那不是像我们这样的语言，因此数个世纪以来，哲学都无法承认它们的认知，因而也无法承认我们经常施加于它们的痛苦。我们应当谨慎，不要过早地封闭任何关于智能的“定义”。对于哲学和计算机科学而言，人工智能研究的主要目标之一，也正是去发现“人工智能”实际上可能是什么。¶

马斯克和霍金因谈论人工智能可能带来的危险而登上新闻头条。他们的观点很重要，但我担心在很大程度上被误解了。依靠给人工智能编程使其不“伤害人类”的努力，只有在人工智能知道人类是什么、伤害他们可能意味着什么时才说得通。人工智能可能伤害我们的方式有很多，而这些方式与它们对我们的恶意毫无关系，其中首要的一种，就是将我们出于善意的指令执行到白痴般的、灾难性的极端。人工智能之所以可能构成一种生存风险，不是因为机械故障或违背了道德律令，而是因为它既拥有强大的智能，又对人类漠不关心。只要我们凭借拟人化的特质来认出人工智能，我们就容易受到这些可能性的伤害。此外，即便一个聪明而邪恶的人工智能确实有意伤害我们，我们也可以设想它会故意不通过我们那些小小的图灵测试。何必暴露自己呢？倘若天网真的出现，也许它正是借助了人类顽固的弱点：我们自恋地认为，我们对自身经验的经验才是至关重要的参照与尺度。¶

危害还在于，当我们坚持保护那些我们明知是错误的信念时，我们会失去一切本可以让自己去发现和理解的东西。在其 1950 年的论文中，图灵针对他所设想的人工智能提出了若干反驳之辩，其中包括一个引人注目的比较：与早先对哥白尼天文学的种种反对相比较。那些废除人类思想与类存在（species-being）虚假的中心性与特殊性的哥白尼式创伤，是无价的成就。就图灵而言，他把这些反对称为“神学反对”，但人们可以主张，拟人化人工智能的谬误本质上也是一种“前哥白尼式”的态度，无论它看起来多么世俗。强健的非人人工智能的到来将带来一种类似的祛魅，这种祛魅应当使我们能够以更加基于现实的方式理解我们自身与我们的处境，并对“智能”是什么、不是什么形成更完整、更复杂的理解。由此出发，我们有望以更大的信心来塑造我们的世界，相信我们的模型是对外部存在之物的良好近似（这总是有益的）。¶

最后，危害还在于延续一种与技术的关系，正是这种关系把我们带到了第六次大灭绝的悬崖边缘。可以说，人类世（Anthropocene）本身与其说是技术失控所致，不如说是人文主义遗产所致——这种遗产把世界理解为为满足我们的需要而被赐予、按照我们的形象而被创造的。我们至今仍随处可见这一点。我们的计算文化深陷混乱，而且正是沿着同样的路线陷入混乱。我们在两种看法之间摇摆：一方面把技术视为我们欲望的透明延伸，另一方面又把它视为一种不可阻挡的、线性的历史力量。在前一种看法里，能动性神奇地只属于我们；在后一种看法里，能动性全在代码之中。这种严重的夸大只是来回颠倒而已，这就是为什么我们无法拥有美好的事物。有人会说，是时候发明一个让机器服从于人类需要与愿望的世界了。如果你这样认为，我请你去谷歌搜索一下“猪斩首机”（pig decapitating machine），然后我们再来谈谈如何发明一个让机器完全服从于人类愿望的世界。人们不禁要问：是否只有在一个曾经为动产奴隶制提供神学与立法慰藉的社会里，这种特定的主张才会在 2014 年仍以如此自满的天真被提出来？正是这种情绪——确切地说，正是这种技术哲学——构成了人类世困境的基本算法。是时候向前走了。这套自命不凡的民间信条代价太过高昂。¶

参考文献

Bostrom, Nick. 2003. “Ethical Issues in Advanced Artificial Intelligence.” In Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, edited by Iva Smit and George E. Lasker, 2: 12–17. Windsor, ON: International Institute of Advanced Studies in Systems Research and Cybernetics.¶

Bostrom, Nick. 2014. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press.¶

Brassier, Ray. 2014. “Prometheanism and Real Abstraction.” In Speculative Aesthetics, edited by Robin Mackay, Luke Pendrell, and James Trafford. Falmouth, UK: Urbanomic.¶

Bratton, Benjamin. 2014. “The Black Stack,” e-flux 53 (March).¶

Hester, Helen. 2015. “Synthetic Genders and the Limits of Micropolitics.” …ment 06: “Displacement”. http://journalment.org/article/synthetic-genders-and-limits-micropolitics.¶

King, Homay. 2015. Virtual Memory: Time-Based Art and the Dream of Digitality. Durham: Duke University Press.¶

Lin, Patrick, Keith Abney and George A. Bekey. 2011. Robot Ethics: The Ethical and Social Implications of Robotics. Cambridge, MA: MIT Press.¶

Negarestani, Reza. 2014. “The Labor of the Inhuman.” In #Accelerate: The Accelerationist Reader, edited by Robin Mackay, 425–66. Falmouth, UK: Urbanomic Media.¶

Norvig, Peter, and Stuart J. Russell. 2009. Artificial Intelligence: A Modern Approach. 3rd edition. New York: Pearson.¶

Rickels, Laurence. 2010. I Think I Am: Philip K. Dick. Minneapolis: University of Minnesota Press.¶

Turing, Alan. 1950. “Computing Machinery and Intelligence”. Mind 49: 433–60.¶

影片目录

A.I. Artificial Intelligence. 2001. Directed by Steven Spielberg. USA: Amblin Entertainment.¶

2001: A Space Odyssey. 1968. Directed by Stanley Kubrick. Screenplay by Stanley Kubrick and Arthur C. Clarke. US/UK: Stanley Kubrick.¶

Blade Runner. 1982. Directed by Ridley Scott. USA: The Ladd Company and Blade Runner Partnership.¶

Her. 2013. Directed by Spike Jonze: USA: Annapurna Pictures.¶

Terminator, series. 1984–2015. First directed by James Cameron. USA: Artisan Home Entertainment.¶

The Imitation Game. 2014. Directed by Morten Tyldum. USA: Black Bear Pictures.¶

第二部分：在增强与自动化之间的认知（Part II: Cognition Between Augmentation and Automation）

注释