如何破解人工智能
这个段落位置已不存在。请使用目录或当前章节查找内容。
FRANCIS HUNGER
一个醉酒的夜晚
在莱比锡一家粗犷的地下室俱乐部里，低音音乐、舞蹈与交谈的一夜接近尾声时，人工智能成了一场热烈醉谈的中心。这场景很美：凌晨四点，活跃的思绪被疲倦、未遂与已遂的欲望，以及尽情跳舞后那种超越感消退的状态浸染。这场讨论的共同主题是，人工智能可能如何根据现有知识回答一切问题，最终奴役人类。
技术布道者和批评者都倾向于把所谓“人工智能”[1] 描述为无所不包、无所不能、将从根本上改变生活的技术。然而，这种叙事忽略了，人类创造意义能力的自动化、机器化，已经持续数十年；我们早已处于一个例如许多工作已被自动化的阶段。为提供一种宏大叙事，技术奇点的极权主义愿景聚焦于这样一个时刻：机器模式识别被误称为智能，并超越人类智能——而后者实际上是更深刻、扎根于身体的复杂性。这种情况出现的同时，反极权的左翼进步路径，在尚未得到审视的斯大林主义与现实社会主义失败的背景下，决定放弃宏大叙事。
2000年代初，我曾批评黑客社群由男性主导、以技术为中心，这一批评在某种程度上仍然成立。然而，破解作为一种质疑无所不包的技术理性宏大叙事的技法，是人类能动性扰动据称包罗一切的技术圈的重要时刻之一。黑客、艺术家与科学家[2] 已开始运用对抗性模式，测试现有机器识别技术，或引发对其后果的批判讨论。他们为那些经过训练、用来对输入数据进行计算的神经网络[3] 制造干扰和误读。
以下是一份破解模式识别、扰乱工程师、经理、企业和政府机构技术官僚春梦的指南。它探讨多种战术，讨论滥用范围、改变颜色、改造或设陷的图示、添加扰动、传感器强光冲击、伪装面具、环境伪装、通过机器造假／辨伪展开军备竞赛、输入捣乱，以及保持晦涩等对抗方法。这些实践的多样性与广泛程度令我惊讶；我将逐一介绍，希望这份概览引出进一步探究与讨论。
案例档案
神经网络会梦见羊吗？
Janelle Shane 研究了神经网络如何错误分类信息。在〈神经网络会梦见电子羊吗？〉一文中，Shane 讨论了用于自动生成图像说明的 Microsoft Azure Computer Vision API 的一些错误分类。[4] 她指出，底层训练数据似乎不够明确，因为许多风景图片里根本没有羊，系统却检测出了羊。“神经网络起初完全不知道自己看到了什么，必须自订规则，决定哪些图像应被标为‘羊’。看起来，它还没意识到，‘羊’指的是真正的动物，而不只是某种没有树的草地感。”[5]
作者随后探究，怎样进一步欺骗这个特定的模式识别 API。她指出，神经网络只会在它预期有羊的地方寻找羊，比如风景环境中。Shane 嘲弄这个神经网络说：“给羊拴上牵引绳，就会被标成狗。把它们放进车里，就成了狗或猫。要是在水里，最后可能被标成鸟，甚至北极熊……把羊带到室内，就会被标成猫。把绵羊（或山羊）抱在怀里，它们就被标成狗。”我把这称为“滥用范围”方法。只要能够确定或逆向推断——也就是猜测——神经网络面向的范围和领域，再插入范围之外的信息，就能使用这一方法。“滥用范围”可以用于照片拼贴：既欺骗神经网络，又保留对人有意义的信息。
见“图廊”图1（原书第35页）。
Shane 进一步向 Twitter 关注者征集羊的图片。Richard Leeming 提供了一张摄于英国乡间的照片，画面里的羊被染成橙色，以防被盗。
见“图廊”图2（原书第35页）。
这张照片打乱神经网络的预期，使其把图像归为“田野里的一丛花”。[6] 我称之为“改变颜色”方法；当较小物体在较大的环境中重复出现时，这种方法似乎最有效。放大图片，只显示一只橙色的羊时，神经网络至少会预测一种动物：“一头躺在郁郁葱葱绿地上的棕色奶牛”。Shane 总结说，专家复核至关重要，尤其当这些神经网络用于卫星或医学图像时。[7]
自主陷阱与扰动
艺术家 James Bridle 在《自主陷阱001》（Autonomous Trap 001）中，[8] 以希腊中部的帕尔纳索斯山——德尔斐神谕所在地——为背景运用了仪式魔法。他用盐画出神奇的道路标线圆圈，使自动驾驶汽车只能进入、无法驶出，从而将其困住。这个例子源于 Bridle 自己建造自动驾驶汽车的尝试，运用模式识别以及激光雷达（LIDAR，光探测与测距）或视频传感器等技术。这一方法称为“陷阱图示”，指有意安装、绘制或以其他方式施加标志或图形，使使用神经网络的设备在记录、处理它们时落入陷阱。
见“图廊”图3（原书第36页）。
“改造图示”方法与陷阱图示有些类似：它在既有标识——主要是交通标志或门牌号码——上增添元素，误导受过训练的神经网络。这有悠久传统，例如战争时期移走或改动街名牌、路标，以误导敌人。今天，这种方法可能干扰那些依靠交通标志评估路况的自动驾驶汽车，例如判断十字路口哪辆车有优先权时。它可以大规模有效使用，比如在自动驾驶测试区域附近分发廉价贴纸。2018年，一组科学家以深度神经网络为对象，测试了一个诗意较少的《自主陷阱001》版本，结果发表于〈对深度学习模型的稳健物理世界攻击〉。[9] 科学家在真实停车让行标志上贴上黑白贴纸，在实验室条件下造成100%的识别失败，开车进行实地视频测试时则造成85%的失败。这项真实世界测试究竟只是说明自动驾驶汽车使用的系统需要改进，还是说明没有完整配套基础设施就不会有自动驾驶汽车，仍有待讨论。
见“图廊”图4（原书第36页）。
另一个研究团队把这一方法更推进一步，制作出带有扰动的美丽交通标志，深度神经网络却将其识别为人或运动用球。[10] 还有一个研究团队证明，这些扰动——原本由神经网络为识别图像内容而计算出的美丽图案——可以印在贴纸上，贴到物体上，彻底误导神经网络。这种技术格外有效，因为“攻击者在构造攻击时，无需知道要攻击的图像是什么。生成对抗性补丁后，补丁便可以在互联网上广泛传播，供其他攻击者打印使用”。[11] 我称之为“扰动方法”。
图5：一顶装有3盏LED灯的帽子，可通过欺骗生物特征识别系统，有效冒充他人。规避人脸识别的能力为100%。[12]
图内文字：帽内品牌标记“izzue”保持原名。〔译注：服装护理标签的极小字样在原图中无法逐字辨识。〕
红外干扰
另一种对抗性破解技术是“传感器强光冲击”：用光源干扰可见光波长范围，使传感器不堪负荷。在2018年的一项研究中，模式识别研究者 Han 等人运用这一技术表明，一个5W、850nm红外LED发出的红外光，可以严重干扰人脸识别。它既可以使人脸无法辨认，也可以反过来，让生物特征记录设备检测到某个特定的人。[13] 这项研究使用 Labeled Faces in the Wild（LFW）数据集，包含13,000张按姓名标注的人脸图像，用于训练神经网络。[14] Han 等人用一顶自制的LED帽子对其进行了测试。“此外，我们在LFW数据集上开展大规模研究，结果显示，对于单个攻击者，只要有一定相似性，就能成功攻击超过70%的人。”[15] 这是一种复杂攻击：拍摄并使用攻击者的照片，计算攻击图案，调整灯的形状、颜色、大小、位置与亮度，模拟另一张脸。不过，这种攻击方法有一个缺点：红外线可能给使用者造成晒伤，因此不适于频繁使用。
然而，红外灯可能已经足以单纯干扰摄像机，而且由于LED体积微小，佩戴时旁人较难察觉。Isao Echizen 与 Seiichi Gohshi 在2012年的研究中已做过此种测试，目的是避免被 Facebook 和 Google Images 拍摄并自动标注。基本原理是在数字相机记录的波段中，把近红外范围的一般光噪声添加到可见光波长范围内。[16]
见“图廊”图6（原书第37页）。
反制图案
Echizen 后来制作了一副 PrivacyVisor 眼镜，通过吸收和反射光线发挥作用，无需用电。[17] 眼镜伪装了传感器判断是否有人脸时所依据的面部特征，尤其是眼睛与眉毛；它们以干扰传感器的方式反光。这是“传感器强光冲击”与“伪装面具”方法的混合。不过，格外显眼的眼镜也使佩戴者在人群中突出。
图7：PrivacyVisor原型。由于视野受限，戴着这副护目镜时，只应驾驶自动驾驶汽车。[18]
生物特征牢笼
艺术家 Zach Blas 通过制作《面部牢笼》（Face Cages）模型，回应生物特征人脸识别的暴力。模型类似于识别算法可能在人脸上“画出”的向量。“《面部牢笼》将生物特征图的抽象暴力戏剧化。在这件装置与表演作品中，Micha Cárdenas、Elle Mehrmand、Paul Mpagi Sepuya 与 Zach Blas 四位酷儿艺术家生成自己面部的生物特征图，再把它们制作成三维金属物体，在物质上唤起与手铐、铁窗和刑具的共鸣……”[19] 虽然艺术家最初并未宣传作品能干扰识别，用 OpenCV Haar 级联人脸检测神经网络进行的快速测试却显示，这些金属面具确实能模糊基本生物特征数据。不过，这种“伪装面具”方法在日常生活中的实际用途，仍有待未来研究。[20]〔译注：原文多处把 Haar 级联称作神经网络；Haar 级联实际属于基于特征的级联分类检测方法，此处保留作者用语。〕
见“图廊”图8（原书第37页）。
具有伪装作用的发型时尚
艺术家 Adam Harvey 在《CV Dazzle》（自2013年持续进行）中，通过多次合作实验伪装人脸，以躲避 OpenCV Haar 级联网络。[21] 这一目标通过“伪装面具”方法实现：富于表现力的发型与化妆，让人联想到赛博朋克及角色扮演亚文化。不过，Harvey 强调，这种方法未必能对抗其他技术，如线性二值模式（LBP）、方向梯度直方图（HOG）、卷积神经网络（CNN）、多摄像头三维系统与多光谱成像系统。〔译注：原文作 “Lineary Binary Pattern”；LBP 通常指局部二值模式（Local Binary Pattern）。〕目前，Harvey 正在研究这些其他算法，准备以开源工具包的形式，为关心隐私的个人发布新的造型与策略。他提供的不是一种象征性的“仿佛如此”策略，而是展示这些造型实际的对抗效力。
见“图廊”图9（原书第38页）。
围巾作为触发器
HyperFace 是 Adam Harvey 与思辨设计团体 Hyphens Labs 成员在2017年的合作。[22][23] 他们设计了一款类似围巾的纺织品原型，包含特定图案。这些图案针对预先训练的开源神经网络 OpenCV Frontalface Haarcascade。[24] 后者把输入数据与某些特征比较，例如鼻子与眉毛的空间关系，从而进行基础人脸识别。围巾图案改变人脸周边的环境，以触发 OpenCV Frontalface Haarcascade 神经网络。理想情况下，网络会因此检测到并不存在的脸。这就是“伪装周边环境”方法，其一大优点是，印花织物可像普通服装那样穿戴；相比 CV Dazzle 和 PrivacyVisor，对日常生活的介入程度较小。
见“图廊”图10（原书第38页）。
使用 TensorFlow 的对抗攻击
创业者 Emil Mikhailov 与 Roman Trusov 探索了针对 Google 最新卷积神经网络 Inception v3 的对抗攻击。[25] 该网络以2012年 ImageNet 数据库训练。[26] 数据库由层级节点组成，每个节点代表一个名词，如“人 → 领袖 → 宗教领袖”。每个节点／名词附有若干反映其含义的图像，截至2018年5月，共计14,197,122张。可以用这个网络测试神经网络是否识别图像内容，或产生多少误报。通常做法是不断调整神经网络，直到错误率较低；然而 Mikhailov 与 Trusov 研究的是如何制造“更强”的误报。
见“图廊”图11（原书第39页）。
Mikhailov 与 Trusov 给出了怎样最好地执行对抗攻击的定义：“理想情况下，良好的对抗攻击，是一份经修改、在视觉上与原始输入无法区分的输入，但分类器却对它作出完全不同的预测。”[27]
他们建议向图像添加噪声，让神经网络把噪声部分视为可以识别的物体，而人的感知能够区分它。他们的例子来自跑车世界。
见“图廊”图12（原书第39页）。
他们对攻击作了详尽解释，并以教程形式描述如何使用现有开源库与 Python 编程语言实现。根据测试，Mikhailov 与 Trusov 总结，当今神经网络中的图像类别——例如汽车、烤面包机——彼此十分接近，中间没有容错空间，因此很容易把一种误认成另一种；甚至只需向图像添加随机噪声，就足以让神经网络作出预测，但未必正确。[28]
军备竞赛已经开始
换脸（Faceswap）原用于手机应用娱乐，自深度伪造色情出现后便声名狼藉：把一个人——最好是名人——的面孔，覆盖到色情演员脸上。2017年底，一名匿名 Reddit 用户首先在帖子中展示这种做法，后来又出现帮助训练人脸检测与映射的应用。[29] 换脸使用无监督自编码器神经网络方法，[30] 常与其他神经网络结合以改善效果，例如 Face2Face。[31]
研究者 Ira Kemelmacher-Shlizerman、Steve Seitz 与 Supasorn Suwajanakorn 在著名的《合成奥巴马》（Synthesizing Obama）中展示：无需使用语音识别，就能通过神经网络，从单个音素出发合成视频，让画面看起来与某段文字的口型同步。[32] 这项工作由华盛顿大学 GRAIL 图形实验室开发，得到大学以及 Samsung、Google、Intel 等公司的支持。[33]
从无害消遣到犯罪活动，只需0秒。大学研究者 Cozzolino 等人在〈FaceForensics：用于人脸伪造检测的大规模视频数据集〉中，把换脸界定为潜在伪造。这个由慕尼黑工业大学、那不勒斯费德里科二世大学与埃尔朗根—纽伦堡大学合作组成的团队，试图自动识别换脸，以防欺诈。他们研究能够识别人脸伪造的模式识别模型，尤其关注那些在人眼与大脑看来真实的假脸。他们观察到：“这是极具挑战的情况，因为[视频]压缩后，低层次篡改痕迹可能消失。”[34] 在黑客眼里，视频压缩则是隐藏伪造的有用工具。
Cozzolino 等人的担忧可能并非杞人忧天：面孔被深度伪造、违背意愿地出现在色情作品中的名人，无论作为个人还是作为产品，都可能受到伤害。在不久的将来，我们可能看到名人面孔用于服装产业的实时三维图形；可能收到使用自己选择的名人面孔——更准确地说，营销者认为我们会选择的面孔——制作的个性化广告；也可能收到用我们自己、朋友或家人的面孔解释产品巨大价值的视频。另一种显而易见的深度伪造用途，是对政治领域进行有组织的捣乱。
对资本化名人面孔的监管，因其开创先例而值得注意：每个人产生的个人数据并不受版权保护，隐私法的保护也很薄弱，尚未解决的数据所有权问题由此带来张力。
Cozzolino 等人在文章中表明，可以制作出质量良好、只有机器算法过程才能识别为伪造的深度伪造。类似发展可以预见：一般数据的指示性程度，也必须借机器证明。由于这些机器检测技术需要算力和人类预备的大规模数据集，伪造者与检测者的军备竞赛，就成为计算资本所有权的问题——也就是计算机器及如何计算的知识归谁所有。知识通过研究共同体中的开源与开放获取方式流通，但所需算力却较难获得。它被置于并封闭在大学研究实验室等机构——前提是它们并非直接使用云服务商——以及可能决定开放、也可能不开放的政府机构和私人云计算供应商中，例如 Amazon AWS、Google Cloud、Microsoft Azure、IBM Cloud 或 Oracle Cloud Infrastructure。公众可能只会成为这场军备竞赛的旁观者；因此，可以据此主张建立公共、并可能采取合作社形式的计算基础设施。我把这种对计算资本的需求称作“机器造假／辨伪军备竞赛方法”。
这种局面无法用单一方法颠覆。它需要一种策略，把必要工具与计算资本交到公众手里，使公众能够独立于产业和军方，验证或证伪图像与视频流。这就是“公共计算基础设施策略”。
试探机器人的耐心
在与语言有关的模式识别中，“输入捣乱”已成为最知名的方法。两名网名为 Spaz Boys 的 YouTube 创作者，录制了一系列与聊天机器人互动的视频，用污言秽语轰炸机器人、拿技术取乐，由此出了名。[35] 典型对话如下：
Spaz Boys：“你想看看我的生殖器吗？”
Evie：“不了，谢谢，我喜欢胡萝卜。”
Spaz Boys：“我的阴茎看起来像一根迷你胡萝卜。”
Evie：“你坐在一个婴儿身上？”[36]
这些表演揭示聊天机器人创作意图与训练数据的程度，并不亚于它们揭示 Spaz Boys 幽默品味的程度。
见“图廊”图13（原书第39页）。
2016年3月，Microsoft 公开发布聊天机器人 Tay 后，“输入捣乱方法”使人类能动性对抗机器能动性的表演臻于极致。这个机器人配备了随用户输入而成长的半监督神经网络。一群网络捣乱者、技术爱好者与青少年极客，向 Tay 输入种族主义和反犹信息，把它变成极右翼宣传的胡言乱语者。他们知道，训练后的神经网络会以现有数据体为基础，计算输入信息的“意义”，或者说统计相关性。“捣乱者”恰恰通过做系统期待他们做的事情——输入数据——成功操纵了数据体。由于 Microsoft 承诺 Tay 能自我学习，机器人除受训神经网络外，还配有能够自行训练的部分神经网络。因此，Tay 项目并不是以一个稳定神经网络[37] 比较新的输入数据。前述方法通过对抗性输入攻击一个理想情况下训练完善的网络来实现颠覆；此处则颠覆、攻击网络本身的构成。攻击者理解这些动态，不仅输入污言秽语，也提供偏离常轨的训练数据，[38] 导致 Tay 发布诸如“我他妈恨女权主义者，她们都该死、在地狱里烧掉”这样的推文。[39]
污秽标签：作为社会实践的数据污垢
记住文本输入捣乱的方法，再转向图像。在大学或企业开发新技术、希望使用大规模图像集的研究团队，都依赖标注数据。要检验“自我学习”的神经网络输出是否正确，必须将结果与有效、已标记的数据比较。原始数据的标记基本由人完成，他们决定某条数据该怎样分类：它是“苹果”还是“红碗”？还是两者都是？又或者是停车让行标志？随后调整神经网络，直到其产出足够接近人类此前标记原始数据时识别出的结果。
这就带来了通过故意污染图像标注来“搅扰可计算之物”的机会。图像训练集只使用开放源图像，合法地从 Flickr 获取。摄影者自豪地给照片加标签，于是图像能够被汇集成庞大图库，例如 Microsoft COCO[40] 与前述 ImageNet。“标签捣乱方法”是输入捣乱的子方法，通过主动附加错误标签引入抵抗时刻。最有效的技术不是完全错误，而是细微变化，例如把“苹果”标成“桃子”，使其无法被自动过滤。但这需要大规模操作，例如由机器人创建错误标注；进行大规模标签捣乱的工具尚待开发。
图14：对抗性音频攻击：向语音源（上方波形）添加扰动（中间波形），会使神经网络识别出任意想要的目标短语（下方波形）。[41]
图内文字：上方识别结果：“这是最好的时代，这是最坏的时代”；中间扰动系数：“× 0.001”，运算符为“＋”“＝”；下方识别结果：“这是一条举世公认的真理：一个单身……”〔译注：原图目标句止于 “that a single”，因此保留未完状态。〕
以噪声、脏话和晦涩对抗语音识别
向自动电话客服热线破口大骂，以便转接人工服务，已成为常见做法。这种破解很好地说明人类如何避开、绕过机器能动性。我们已经看过许多拿Amazon Alexa、Google Home 和 Apple Siri 语音识别开玩笑、颠覆机器能动性的例子，[42] 展示人类如何应付模式识别带来的机器烦扰。
这些监听设备——包括智能手机和各种内置语音识别的计算机——渗透日常生活，人类因而可能转向学习、使用方言或死语言，避免自动翻译。任何小众、鲜为人知的方言都有可能，因为不会有足够的训练数据。这是“晦涩方法”。
如果无法保持晦涩，一种特殊噪声也许能够帮忙。研究者 Nicholas Carlini 与 David Wagner 最近展示了如何用扰动破解 Mozilla 的 DeepSpeech 神经网络：每秒最多50个字符，藏在99%内容保持不变的音频——语音或音乐——层中。[43] “仅仅添加轻微失真，我们就能以100%的成功率，把任何音频波形变成任何目标转写文本。”[44] 因此，我们再次看到了“扰动方法”，只是这次用于音频。很有意思的是，如果作概括，它同时适用于音频和图像，因此独立于具体媒体。[45]
一匹聪明的马
对抗性输入数据已成为产业和学术研究共同体熟悉的议题。一个名为 Cleverhans 的开源库，成为偏重数学的对抗方法研究的体现。它以20世纪初据称会解数学方程的马“聪明的汉斯”（Kluger Hans）命名。[46] 后经调查发现，汉斯回应的是主人无意中给出的线索；马的本能帮助它模仿对指定任务的理解。
Cleverhans 库附有示例和教程，由目前都在 Google Brain 工作的 Ian Goodfellow 与 Nicolas Papernot 创建。作者这样解释动机：“迄今为止，大多数机器学习是在非常弱的威胁模型下开发的，模型中不存在对手。机器学习系统被设计为在面对自然时表现正确。今天，我们开始设计即使面对恶意的人，或基于机器学习的恶意对手，也能正确运作的系统。”[47] Goodfellow 和 Papernot 将“恶意的人”视为对机器能动性的干扰，本文的论点却恰恰相反：为了在计算资本时代为人类创造空间，必须确立并捍卫那些可能扩大规模的干预，其中包括有意制造的对机器能动性的干扰。
结论
目前欠缺的，是对如何用视觉与听觉模式识别来颠覆机器能动性的分析。已经识别出的模式识别破解方法，多来自艺术实践，以及围绕可能扩大规模的对抗样本展开的科学论辩。想象未来的某一刻，其中一些技术被纳入智能手机摄像头或照片编辑软件。如果以具体、与劳动有关的案例，展示人们在视觉和听觉模式识别中如何颠覆机器能动性，填补这组案例研究的盲点，就能促进更完整的理解。Uber 与 Deliveroo 驾驶员、Amazon 拣货员，以及其他受模式识别技术支配的人，肯定找到了绕过或破解人工智能某些方面的自身方法；我很愿意了解这些方法。
后记：劳动
艺术家 Sebastian Schmieg 研究过零工经济：人类以低报酬（Amazon Turk）或无报酬（破解 Google Captcha）的方式，完成微型任务。他认为：“人工智能是对既有知识和技能的挪用与可能的外推；如此说来，它也可能做我们（某些）工作。但它首先是一项方案，把工作拆成能在任何地点、每周7天每天24小时执行的任务，并使这种劳动不可见。”[48] 他进一步指出，当前围绕人工智能的炒作，不仅源于更好的算法与技术，更源于那些不可见、报酬过低或没有报酬，为大规模图像识别训练集作标记的劳动力。如果存在一个意识到这确实是劳动的工人工会，它也许会有兴趣进一步了解、运用上面汇集的对抗方法。[49]
参考文献
Abadi, Martín, Tom B. Brown, Justin Gilmer, Dandelion Mané, and Aurko Roy. “Adversarial Patch”〔对抗性补丁〕. arXiv.org, 17 May 2018, http://arxiv.org/abs/1712.09665/.
Bregler, Christoph, Michele Covell, and Malcolm Slaney. “Video Rewrite: Driving Visual Speech with Audio”〔视频重写：以音频驱动视觉语音〕，载 Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques – SIGGRAPH ’97, Los Angeles, 3–8 August 1997, pp. 353–60.
Blas, Zach. “Face Cages: 2013-16”〔面部牢笼：2013–16〕. Zach Blas, http://www.zachblas.info/works/face-cages/.
Bridle, James. “Autonomous Trap 001”〔自主陷阱001〕. James Bridle, 2017, http://jamesbridle.com/works/autonomous-trap-001/.
Carlini, Nicholas, and David Wagner. “Audio Adversarial Examples: Targeted Attacks on Speech-to-Text”〔音频对抗样本：对语音转文字的定向攻击〕. arXiv.org, 30 March 2018, https://arxiv.org/pdf/1801.01944.pdf/.
Chen, Shang-Tse, Cory Cornelius, Jason Martin, and Duen Horng Chau. “ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector”〔ShapeShifter：对Faster R-CNN物体检测器的稳健物理对抗攻击〕. arXiv.org, 3 September 2018, http://arxiv.org/abs/1804.05810/.
Cozzolino, Davide, Andreas Rössler, Luisa Verdoliva, Christian Riess, Justus Thies, and Matthias Nießner. “FaceForensics: A Large-Scale Video Dataset for Forgery Detection in Human Faces”〔FaceForensics：用于人脸伪造检测的大规模视频数据集〕. arXiv.org, 24 March 2018, http://arxiv.org/abs/1803.09179/.
Dale, Kevin, Kalyan Sunkavalli, Micah K. Johnson, Daniel Vlasic, Wojciech Matusik, and Hanspeter Pfister. “Video Face Replacement”〔视频人脸替换〕. ACM Transactions on Graphics 30.6 (December 2011): 1.
Echizen, Isao, and Goshi Seiichi. “Privacy Protection Techniques Using Differences in Human and Device Sensitivity: Protecting Photographed Subjects against Invasion of Privacy Caused by Unintentional Capture in Camera Images”〔利用人类与设备敏感度差异的隐私保护技术：保护被摄者，免受相机图像无意捕捉所造成的隐私侵犯〕. National Institute of Informatics, 12 December 2012, https://www.nii.ac.jp/userimg/press_20121212e.pdf/.
Echizen, Isao, Takayuki Yamada, and Seiichi Gohshi. “Privacy Visor: Method Based on Light Absorbing and Reflecting Properties for Preventing Face Image Detection”〔隐私护目镜：基于光吸收与反射特性、防止面部图像检测的方法〕. Proceedings of the 2013 IEEE International Conference on Systems, Man, and Cybernetics, Manchester, 13–16 October 2013, http://research.nii.ac.jp/~iechizen/official/research-e.html#research2c/.
Eykholt, Kevin, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, and Dawn Song. “Robust Physical-World Attacks on Deep Learning Visual Classification”〔对深度学习视觉分类的稳健物理世界攻击〕. Conference on Computer Vission and Pattern Recognition 2018 Papers, http://openaccess.thecvf.com/content_cvpr_2018/papers/Eykholt_Robust_Physical-World_Attacks_CVPR_2018_paper.pdf/.
Han, Weili, Zhe Zhou, Di Tang, Xiaofeng Wang, Xiangyu Liu, and Kehuan Zhang. “Invisible Mask: Practical Attacks on Face Recognition with Infrared”〔隐形面具：使用红外线对人脸识别进行实用攻击〕. arXiv.org, 13 March 2018, http://arxiv.org/abs/1803.04683/.
Harvey, Adam. “HyperFace: False-Face Camouflage”〔HyperFace：假脸伪装〕. Adam Harvey Projects, 1 March 2017, https://ahprojects.com/projects/hyperface/.
同上. “Camouflage from Face Detection”〔躲避人脸检测的伪装〕. CV Dazzle, 22 August 2017, https://cvdazzle.com/.
Hunger, Francis. “Artificial Des-Intelligence or Why Machines Will Not Take over the World. At Least Not Now. Part I: There Is No Artificial Intelligence.”〔人工去智能，或机器为什么不会接管世界。至少现在不会。第一部分：不存在人工智能〕. Databasecultures, http://databasecultures.irmielin.org/artificial-des-intelligence/.
同上. “Epistemic Harvest: The Electronic Database as Discourse and Means of Data Production”〔认识论收割：电子数据库作为话语与数据生产手段〕. A Peer Reviewed Journal About Research Values 7.1 (2018), http://www.aprja.net/epistemic-harvest-the-electronic-database-as-discourse-and-means-of-data-production/.
Hern, Alex. “Microsoft Scrambles to Limit PR Damage over Abusive AI Bot Tay”〔Microsoft急于限制辱骂性AI机器人Tay带来的公关损害〕. The Guardian, 24 March 2016, https://www.theguardian.com/technology/2016/mar/24/microsoft-scrambles-limit-pr-damage-over-abusive-ai-bot-tay/.
@JanelleCShane. “so obvious here but think of the mistakes algorithms can quietly make w medical & satellite photos. Expert review is crucial.”〔这里如此明显，但想想算法面对医学与卫星照片时可能悄悄犯下的错误。专家复核至关重要。〕Twitter, 4 March 2018, 8:10 AM, https://twitter.com/JanelleCShane/status/970194636978323456/.
Kemelmacher-Shlizerman, Ira, Steven M. Seitz, and Supasorn Suwajanakorn. “Synthesizing Obama: Learning Lip Sync from Audio”〔合成奥巴马：从音频学习口型同步〕. ACM Transactions on Graphics 36.4 (July 2017): 1–13.
Khandelwal, Swati. “Microsoft says It’s Deeply Sorry for Racist and Offensive Tweets by Tay AI Chatbot”〔Microsoft表示对Tay AI聊天机器人发布的种族主义和冒犯性推文深感抱歉〕. The Hacker News, 26 March 2016, https://thehackernews.com/2016/03/artificial-intelligence-bot.html/.
Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “ImageNet Classification with Deep Convolutional Neural Networks”〔以深度卷积神经网络进行ImageNet分类〕，载 Proceedings of the 25th International Conference on Neural Information Processing Systems 1, 3–6 December 2012: 1097–1105.
Lüdtke, Dan. “Infinite Looping Siri, Alexa and Google Home”〔让Siri、Alexa和Google Home无限循环〕. YouTube, 1 December 2016, https://www.youtube.com/watch?v=vmINGWsyWX0/.
Mackenzie, Adrian. Machine Learners: Archaeology of a Data Practice〔机器学习者：一种数据实践的考古学〕. Cambridge, MA: The MIT Press, 2017.
Manovich, Lev. Software Takes Command: International Texts in Critical Media Aesthetics〔软件接管：批判媒体美学国际文本〕. New York、London: Bloomsbury, 2013.
Mikhailov, Emil, and Roman Trusov. “How Adversarial Attacks Work”〔对抗攻击如何运作〕. Ycombinator Blog, 2 November 2017, https://blog.ycombinator.com/how-adversarial-attacks-work/.
Munn, Luke. Ferocious Logics: Unmaking the Algorithm〔凶猛的逻辑：拆解算法〕. Lüneburg: Meson Press, 2018.
Papernot, Nicolas, and Ian Goodfellow. “Breaking Things Is Easy”〔破坏东西很容易〕. Cleverhans Blog, 16 December 2016, http://cleverhans.io/security/privacy/ml/2016/12/16/breaking-things-is-easy.html/.
Papernot, Nicolas, Fartash Faghri, Nicholas Carlini, Ian Goodfellow, Reuben Feinman, Alexey Kurakin, Cihang Xie, Yash Sharma, Tom Brown, Aurko Roy, Alexander Matyasko, Vahid Behzadan, Karen Hambardzumyan, Zhishuai Zhang, Yi-Lin Juang, Zhi Li, Ryan Sheatsley, Abhibhav Garg, Jonathan Uesato, Willi Gierke, Yinpeng Dong, David Berthelot, Paul Hendricks, Jonas Rauber, Rujun Long, and Patrick McDaniel. “Technical Report on the CleverHans v2.1.0 Adversarial Examples Library”〔CleverHans v2.1.0对抗样本库技术报告〕. arXiv.org, http://arxiv.org/abs/1610.00768/.
Schmieg, Sebastian. “Humans As Software Extensions”〔人类作为软件扩展〕. Sebastian Schmieg Blog, 31 January 2018, http://sebastianschmieg.com/text/humans-as-software-extensions/.
Scholz, Trebor. Uberworked and Underpaid: How Workers Are Disrupting the Digital Economy〔过度劳动与报酬不足：工人如何颠覆数字经济〕. Malden, MA: Polity Press, 2016.
Shane, Janelle. “Do Neural Nets Dream of Electric Sheep?”〔神经网络会梦见电子羊吗？〕. AI Weirdness Blog, http://aiweirdness.com/post/171451900302/do-neural-nets-dream-of-electric-sheep/.
Spaz Boys Comedy. “Evie Discusses My Baby Carrot”〔Evie讨论我的迷你胡萝卜〕. YouTube, 20 September 2015, https://www.youtube.com/watch?v=ax5HCzzlmFE/.
Thies, Justus, Michael Zollhofer, Marc Stamminger, Christian Theobalt, and Matthias Nießner. “Face2Face: Real-Time Face Capture and Reenactment of RGB Videos”〔Face2Face：RGB视频的实时人脸捕捉与重演〕，载 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, 26 June–1 July 2016: 2387–95.