健康信息互动中的探索式搜索与延展认知
这个段落位置已不存在。请使用目录或当前章节查找内容。
Martin Feuz
健康信息互动中的探索式搜索与延展认知
Martin Feuz
认知科学家 David Kirsh 和 Paul Maglio 在研究《俄罗斯方块》高手时,发现了一个有趣现象:这些玩家通常会旋转下落的方块,以便更容易辨认其形状;或者把方块移到最右侧,确定并设置让它从高处落下的准确位置。研究者把这些操作称为“认识性行动”,因为他们认为,这些在世界中进行的行动能够改善认知。“某些认知和知觉问题,通过在世界中采取行动,比单纯在头脑中进行计算性操作,解决得更快、更轻松,也更可靠。”[1]
你也许会问,认识性行动与搜索互动有什么关系?事实上,关系很大!人们进行大量信息搜索,例如搜索健康信息;这影响着他们的决策过程,因此我们应认真对待。健康搜索互动具有探索性质,与其他搜索在种类上有所不同。当前被黑箱化的搜索引擎机制,在这类探索式搜索互动中可能弊大于利。更深一层说,要有效支持探索式健康搜索互动,必须转变互动与认知过程的模型:从心智的信息加工模型,转向把认知理解为延展到人工物和社会环境之中,并通过这一环境来运作。
背景:健康搜索与搜索引擎
根据皮尤研究中心 2009 年 6 月的研究,57% 的成年人把互联网作为健康信息来源;对 60% 的人来说,网上找到的信息影响了他们对治疗方案作决定的过程。[2] 到 2010 年底,皮尤报告称:“搜索健康信息,这项过去主要属于年长成年人的活动,如今已经成为所有 18 岁及以上互联网用户第三受欢迎的在线活动。”[3]
在深入讨论搜索引擎究竟怎样在健康信息搜索中发挥重大作用之前,需要先介绍一些背景。这些背景将有助于 说明,在健康信息搜索的语境中,搜索引擎及人与它的互动的发展为何存在问题。
从网络诞生之初,搜索引擎就发挥着重要作用。这主要是因为,网络缺乏内在的索引和分类机制。尽管有些组织曾尝试借助人类专家编制目录,但这种方法很快便陷入严重困境。一方面,它根本无法应对网络的迅速增长,因此有变得不完整的风险;另一方面,网络的复杂性与动态性,会令所发现信息的分类遭遇本体论问题。此后,搜索引擎提供者开始构建自动索引与排序机制。索引是搜索引擎中的一个组成部分:搜索爬虫扫描网络,寻找新网站及已索引网站上的新内容,不断更新索引。排序则负责把用户的搜索查询与索引进行匹配,再依据一组规则,向用户展示选定的搜索结果。排序的核心在于查准率与查全率之间的权衡。查准率关乎搜索查询与所检索结果的匹配准确程度,查全率则关乎所产生的相关搜索结果数量。查询与结果之间匹配的查准率提高时,查全率便会下降;反之亦然。我们将看到,这种张力一直是搜索引擎发展和改进中的关注点。
虽然早期自动搜索引擎更适于应对网络的巨大增长,却仍然存在许多问题。其中最主要的是:排序机制主要依赖搜索查询与已索引网页之间相当粗糙的关键词统计匹配过程。随着网络内容增长,这会产生数量庞大的搜索结果(查全)。通常,找到有用、相关的搜索结果,都是一项费力的工作。
近年来,多数搜索引擎的前端似乎并没有太大变化,[4] 后端却已发生重大改变。如今,给定查询的搜索结果,会依据若干不直接显露于用户互动的变量自动过滤。这种过滤的目的,是进一步提高结果的相关性。例如,搜索结果通常会依据从用户 IP(互联网协议)地址推导出的地理位置进行过滤。因此,如果用户在 Google 中输入“restaurant”(餐厅),搜索引擎就会假定,她寻找的是目前上网所在城市中的餐厅。这种地理敏感性在某些情况下显然可能有用,但很大程度上取决于语境。不过,一段时间以前,Google 等公司开始个性化处理用户的搜索结果时,排序机制发生了更加实质性、也更难辨认的改变。它们承诺向用户提供更相关的结果,把查询放在用户的搜索历史及此前汇编进个人档案的其他数据这一语境中。为了产生这种语境,需要收集、整理大量个人信息,并使之能够用于行动。在存储空间和计算能力的限制迅速消退之际,个人档案无论怎样 全面、细致、及时,都不嫌过度。例如,Google 从三个维度编制个人档案:知识中的人(依据搜索和点击流历史,判断个人对什么感兴趣)、社会中的人(个人通过电子邮件、社交网络及其他通信工具与谁联系)以及具身的人(个人在物理空间中的位置及其身体状态)。[5] 这三种档案结合起来,承诺为每次搜索查询提供细致、全面、及时的语境,有可能给出精确结果:结果不仅反映“外部”的信息,也反映用户在任一时刻独有的兴趣。个性化搜索并非仅仅旨在提供一种关于既有现实的视角——即便如此,也已经足够成问题了。[6] 相反,它承诺一种“增强现实”:机器智能解释用户与现实之间的个人关系,再选择有利于这种关系的东西。因此,即使从相同的 IP 地址访问,两个用户对同一查询看到相同搜索结果的可能性,也已经很低了。[7] 遗憾的是,许多搜索引擎用户似乎并未意识到这一发展。[8]
要充分理解搜索个性化的影响,需要结合不同类型的搜索互动以及今天典型的搜索引擎界面,作更细致的考察。Andrei Broder 建议区分三类搜索互动;这一分类虽然粗略,但对本文的目的颇有用处。[9] 第一,导航式搜索查询:用户希望找到某个特定网站的网址。第二,事务式搜索查询,例如查询机票价格:任务可以在若干不同但特定的网站上完成。第三,信息式搜索查询:它可能在多个网站上寻找信息,适用于搜索目标在一开始并不总是明确、而可能在搜索过程中逐渐浮现的情况。因此,在这类搜索活动中,人们通常试图了解某个感兴趣话题的不同方面,并探索新的知识领域。它可以包括任何事情,从为学校或大学论文开展研究,到考虑进入新的职业领域,或像本文所关注的那样,进一步了解某个健康问题。从这个角度看,搜索结果个性化及其自我指涉机制——一些人称之为回音室[10] 或过滤气泡[11]——为什么对信息式搜索尤其成问题,开始变得清楚。因为用户的意图,恰恰是超越已经熟悉的知识,探索新的领域。因此,下面的分析和论证将集中于这种搜索互动。
探索式搜索
最近,研究者发展并描述了信息式搜索这一概念,将其称为“探索式搜索”;[12] 从现在起,我将使用这个术语。
探索式搜索可以用来描述一种开放、持续、多面的信息寻求问题情境,也可以用来描述择机而动、反复迭代、采用多种策略的信息寻求过程。就第一种含义而言,探索式搜索通常用于科学发现、学习和决策情境;就第二种含义而言,探索策略用于各种信息寻求活动,体现寻找者的偏好与经验,也同样体现其目标。[13]
探索式搜索互动具有若干典型特征。首先,人们往往面对一个复杂的信息问题,并希望了解它。此外,进行探索式搜索的人,可能不熟悉其搜索目标所属的知识领域,也不了解该领域的主导与边缘行动者。而且,他们可能不太了解哪些关键词、概念和信息来源有助于拟定查询及评估结果。最后,探索式搜索者一开始也可能没有明确的搜索目标。目标可能要在逐渐了解某个知识领域、其中的概念与行动者的过程中,才会形成并变得清楚。基于这些特征,探索式搜索过程通常会跨越多个会话,持续数天、数周或数月。
界面与互动模型
许多搜索引擎界面通常建立在人机交互(HCI)领域提出的一组“公认”动作语法和操作把手之上。[14] 采用的动作语法往往旨在描述一种不依赖语境的元语法,从而暗示其具有普遍适用性与可用性。对于 Google 或 Bing 这样的通用搜索引擎,典型界面是在几乎空白的页面上放置一个搜索框和一个搜索按钮。用户输入查询、点击按钮,然后看到最相关的搜索结果。通常,用户接着会得到少量一般性的细化选项,进一步缩小搜索范围。没有显露出来的,是上面所说的、使“最相关”结果得以排序的众多假设。可以说,这种方式在网络搜索的简单导航任务中表现不错。虽然人们做过不少有用的尝试,试图改变占主导地位的搜索互动范式,但遗憾的是,这些尝试一段时间后都消失了。我只能推测它们不成功的原因;不过,一个关键决定因素似乎与互动范式的关联较小,与前文所述索引的全面性关联更大。为了接近全面与准确而开展的计算密集过程,要求 Google 及其他流行的通用搜索引擎提供者,在硬件和人类专业知识上投入巨资。对于想进入全球搜索引擎行业的潜在竞争者,这似乎正成为越来越高的进入壁垒。知名超级计算先驱、Long Now Foundation 创始人 Danny Hillis 曾在《纽约时报》上指出:“Google 构建了世界上最大的计算机,而这是一项隐性资产。”[15]
今天的搜索引擎界面不能很好地支持探索式搜索,问题的核心既在于其采用的特定互动模型视角,也在于搜索互动设计者假定的认知过程模型。可以说,如今的搜索引擎界面依赖于若干核心假设,它们与心智的信息加工模型高度呼应。认知通常被表述和描述为一种纯粹的心理过程,包括“识别信息需求,然后具体说明查询、检查检索结果,必要时重新制定查询,重复这一循环,直到找到令人满意的结果集”。[16] Marcia Bates 的“采莓”模型等其他搜索过程模型,通过纳入学习、转移关注点和目标等迭代性环节,为更具互动性的搜索方式作出了很有价值的贡献。

图中文字中文对照(中文版编排)
Q = Query variaton:Q = 查询变化
T = Thought:T = 思考
E = Exit:E = 退出
= Documents, information:= 文档、信息
图中虚线路径依次经过 Q0 → Q1 → Q2 → Q3 → Q4 → Q5,最后到达 E。Q 表示查询变化;Q0 至 Q5 是路径上的查询节点,E 表示退出。
五个标为 T 的箭头从路径外部指向虚线路径,T 表示思考;Q1 至 Q5 及 E 附近的叠页图标表示文档、信息。原图图例将 Query variation 拼作 Query variaton,英文对照照录原拼写。
虽然模型本身看起来有些形式化,Bates 最近却进一步阐明了自己的观点:“在我看来,只要我们的研究仍然把生物学和人类学排除在外,我们对信息寻求的理解就不完整。”[17] 遗憾的是,信息寻求研究共同体尚未采纳这种理解。[18] 下一节将进一步论证,为什么在健康搜索互动领域,更具具身理解和具身互动风格的模型尤其可取。
循证医学的方法与问题
要理解在搜索健康与医学信息时,缺乏对探索式互动的支持为何尤其成问题,我们需要简要分析这类知识赖以产生的方法,以及由此引发的一些问题。
过去四十年间,循证医学(Evidence-Based Medicine,EBM)作为一种知识范式和临床实践路径,在西方医学中缓慢而日益明显地占据主导。这个范式体现于英国的 Cochrane Collaboration 和 National Institute for Clinical Excellence 等新机构、新刊物、主要医学期刊上反复出现的社论,以及主流医学研究对随机对照试验等循证医学方法的采用。[19] Greenhalgh 和 Donald 将循证医学定义为:
利用从高质量人群样本研究中获得的、关于收益和危害风险的数学估计,为个体患者诊断、检查或管理中的临床决策提供依据。[20]
这听起来很不错;然而,随着研究在不断增多的系统综述中显现,医学证据的科学稳健性,越来越揭示出医学知识过去和现在赖以生成、传播的基础与过程存在的问题。医生兼循证医学研究者 Ben Goldacre 将其概括为“医学破损的信息架构”。[21] 这一说法指向他的分析所揭露的事实:阴性试验结果的发表存在根本性的缺口。[22] 换句话说,主要发表阳性试验结果的结构性偏差,使治疗的益处被夸大。要理解其中原因,可以考察专注医学研究质量的重要元分析研究者 John Ioannidis 最近的研究。在题为“高被引临床研究中被推翻的结果与最初更强的效应”的研究中, 他分析了实际医学发表模式,以及最初的研究发现如何只是随时间缓慢得到纠正。[23] 为此,他研究了 49 项最重要的已发表研究发现;这些发现曾对治疗方式的推广产生影响,“例如对更年期女性采用激素替代疗法、使用维生素 E 降低心脏病风险,以及用冠状动脉支架预防心脏病发作”。他发现,“其中 41% 的发现已被有说服力地证明是错误的,或者显著夸大了效果”。[24] 这一问题很大程度上可由研究结果的选择性报告和发表偏差解释。前者指科学家选择记录哪些数据;后者指“科学家和科学期刊偏爱阳性数据、而非零效应结果的倾向”。[25] 在某些情况下,这种选择只是意味着一些患者接受了无效治疗;但在另一些情况下,它会实际增加患病率,带来严重后果。[26]
从此前关于搜索互动模型的讨论可以看出,无论采取导航式还是事务式搜索互动路径,或者使用搜索引擎提供的工具来评估结果的相关性及其权威来源,都可能难以辨识或探索循证医学中的这类问题。因为这些搜索互动假定,用户从一开始就完全理解该知识领域,因而仅凭搜索结果列表便能识别相关信息。相比之下,探索式搜索互动模型可以支持用户辨认知识领域中的核心与边缘行动者,从而提供多种方式,评估语境相关性。
人类决策的认知观念
在简要反思当代循证医学的方法及其问题之后,我提出:一种更加开放、更具探索性的健康信息互动方式十分可取。一方面,它可取,是因为其中内含着何种生活被认为有价值、值得去过的问题;[27] 另一方面,它可以让患者更积极地参与。因此,决策及支持决策的方式,是互动中的核心要素。我们可以转向旨在支持探索式互动与决策的共同决策过程。[28] 这种方式也使我们能够展示决策支持设计背后的认知假设,而这些假设也为许多当代人机交互设计提供依据。
共同决策过程通常使用各种决策辅助材料,典型形式是以结构化格式呈现某种疾病治疗选择的小册子。例如,小册子会用“如果……那么……”的情景,说明选择某种治疗方案时可能带来的健康影响,包括潜在副作用。在有数据的情况下,还会用量化概率补充这些信息,旨在通过权衡不同方案的概率、康复前景与副作用可能性,支持决策过程。
决策辅助属于范围更广的决策支持系统领域,横跨经济学、心理学、统计学和计算机科学等学科。决策支持系统(DSS)可定义为一种形式系统,其设计目的,是帮助评估备选决策、判断采取各条行动路径后可能产生的后果,从而帮助作出最优决策。
上述 DSS 定义有两个方面需要关注:“形式化”与“最优”。两者都与 Herbert Simon 关于行政组织决策的某些早期研究高度呼应。Simon 是经济学家,也是决策过程领域极具影响力的研究者。“形式化”与他的实证主义研究风格有关,强调“通过可复现性获得科学权威”。按照其著作的精神,“最优”应从规范意义上理解,因为他明确指出,他(正在发展)的行政行为理论,与其说“描述行政人员如何决策”,不如说“描述优秀行政人员如何决策”。[29] 与这些规范性形式主义相连的,是他的理性观。在这里,他把理性看作手段与目的的链条,“关涉依据某种价值体系选择更可取的备选行为,而这一体系能够用于评价行为后果”。[30] 他提出“有限理性”概念:面对预先给定的一组选项,人类个体决策者并不采用最大化策略,而采取寻求满意解的策略。在他看来,有限理性的一个特征,是决策者面对“人类知识与推理的局限”时,运用启发式、即经验法则来作决定。[31] 例如,今天的医生似乎很容易采用的一条启发式是“宁可谨慎过头”,也就是说,存在疑虑时便建议医学干预。正如文献所指出的,这条启发式背后的逻辑,主要是在患者确实患病时避免被告上法庭。[32] 为支持有限理性的论证,Simon 指出,心理学四十年来的进展已经能够以“基本的符号操纵过程,描述困难的问题解决与决策”,[33] 这也成为后来所谓心智的信息加工理论。
虽然 Simon 试图把自己的理性决策观,与战略决策的博弈论路径区分开来,他的有限理性概念在认知过程方面,仍然受到很强的理论边界 限制。对于他的有限理性概念,决策发生的环境,更重要的是个人的认知能力与机制,都引入了重要约束;要充分理解决策策略,并成功地为其进行设计,就必须认识到这些约束。
第二点,也更根本的是,有限理性在一种认知理论的范围内运作;这一理论采用认知与心智的信息加工模型,也称为认知主义。该模型假定,知识、理解和感觉以清晰的心理表征运作,认知过程随后对它们进行心理改变。关键在于,认知过程被概念化为符号计算,其中包括语义意义。认知主义作为心理学理论框架,是对行为主义的回应,但同时又在很大程度上延续了行为主义;后者在 20 世纪早期的大部分时间里,是占主导的心理学路径。行为主义把所有思考都简化为可通过刺激以不同方式加以塑造的行为;认知主义与之不同,认为思考影响行为,因此不能就是行为本身。尽管如此,认知主义仍共享行为主义的实证主义取向,假定遵循科学方法与实验就能充分解释认知。此外,大脑通常被概念化为一种类机器装置,是人类认知唯一且充分的所在。[34]
重新思考探索式医疗信息互动中的认知
关键在于,与上述经典认知理论相反,从延展心智论(Extended Mind Thesis,EMT)的角度看,认知并不局限于皮肤和颅骨以内的过程,而会延展到社会与人工物环境之中,并通过该环境运作。证据表明,这类人工物与社会生态,在认知过程中发挥着富于生产性的重要作用;更根本地说,它们在人类发展和演化中也如此。最初提出延展心智论的 Andy Clark 和 David Chalmers 认为:“当环境的某些部分以合适的方式与大脑耦合,它们就成为心智的一部分。”[35] 这些思考及 EMT 的核心洞见在于:与世界发生有意义的互动,似乎深深依赖有意向性的互动,而这种互动由行动中的各种知觉手段与渠道促成。
我可以用《俄罗斯方块》玩家这个最简单的例子,有效说明人工物环境在 EMT 认知观中发挥的作用。认知科学中的认识性行动,是与探索式健康搜索互动相关的一个领域。正如 Kirsh 和 Maglio 所说,认识性行动是“为了揭示隐藏的、或难以在头脑中计算的信息而采取的行动”;它不同于“为了在物理上接近目标而采取”的实用性行动。[36] 他们观察了《俄罗斯方块》的玩家;在这一互动电子游戏中,玩家必须排列形状各异的物体,填满屏幕底部的一行行空间。每当一行 完全填满,它便消失,腾出空间。如果某些行不能被填满,它们就会不断堆积,给下落物体留下更少的操作余地。当物体从屏幕顶端落下时,玩家可以旋转它,或者左右移动。Kirsh 和 Maglio 观察到,“某些认知和知觉问题,通过在世界中采取行动,比单纯在头脑中进行计算性操作,解决得更快、更轻松,也更可靠”。[37] 作者认为,这些在世界中的行动能够改善认知。正如文章开头所说,典型的认识性行动发生于玩家旋转物体、以便更容易辨认形状的时候,或者把物体移到最右边、以确定从高处落下的准确位置的时候。他们据此得出结论:关于《俄罗斯方块》认知的标准信息加工模型,无法解释玩家做出的许多操作,还会使这些操作显得缺乏动机、多此一举。而且他们发现,这类“传统解释具有局限,因为它们认为行动只有一个功能:改变世界。认识到行动的第二种功能——认识功能——就能够解释许多传统模型无法解释的行动”。[38]
不难想象,类似的认识性行动在探索式搜索语境中,也可以成为有用的互动。例如,用户能够探索某条搜索结果所享有的权威来源,或在时间线上考察它作为搜索结果的主导程度。这些认识性行动会提供多种方式,使人理解搜索结果并评估其语境相关性,或者用 Venturini 的话说,获得第二阶客观性。[39]
行为经济学领域也已经认识到,人类认知如何通过人工物生态运作并参与其中,并开始择机利用这些机制。经济学家兼行为科学家 Richard Thaler,以及法学家兼行为经济学家 Cass Sunstein,使这一领域广为人知,把它宣传为“解决”当代社会和健康问题的合适手段。循此路径开展的干预基于这样一种观念:可以设计人工物环境,对人们作出“助推”,让他们以被认为对自己更有利的方式行事。例如,在学校食堂的一长列食物陈列中,可以将健康食品放在开头,而不是末尾。行为经济学的支持者认为,这样做比其他摆法更可能使学生选择健康食品。这类路径也被称为“选择架构”。[40] 证明其效果的证据通常来自实验。的确,正如心理学家 Gigerenzer 与经济学家 Berg 所认为的,其证据基础相当薄弱,因为它没有研究人们实际上如何决策,而只是看他们作出了什么决策,再从这类实验证据作出概括。[41] 从更偏政治的视角看, 一种批评是,“助推”干预被视为“自由主义家长制”,因为它们是自上而下设计并强加的。由于其存在方式隐晦不明,助推策略也不邀请参与和反思,因而不会激发学习和长期行为改变。
正如这项及其他不同研究项目逐渐提出并支持的观点,[42] 认知产生于内部与外部过程更为复杂的纠缠之中,涉及知觉、注意、记忆,以及物质与文化环境。[43] 这一视角清楚表明:把互动设计所依据的部分假设黑箱化,会以损害人们在语境中理解它们的能力为代价。
因此,延展心智论提供了一个有趣且可能富于成效的视角,让我们重新思考并介入上述问题,例如搜索结果以黑箱方式被过滤、排序和呈现的方式。以 EMT 为出发点重新思考这些领域的互动,会重新打开问题与设计的空间,并提出关于这些特定领域中行动与认知关系的有趣问题,也让我们思考如何迎接挑战,重新设计界面,使其与网络复杂性所蕴含的潜能相适应。[44]
参考文献
Bates, Marcia J. ‘Toward an Integrated Model of Information Seeking and Searching’, The New Review of Information Behaviour Research 3 (2002): 1-15.
Broder, Andrei. ‘A Taxonomy of Web Search’, ACM SIGIR Forum 36.2 (2002): 3-10.
Castiglione, Chris. ‘Matthew Fuller: Search Engine Alternatives’, Institute of Network Cultures, 14 November 2009, http://networkcultures.org/wpmu/query/2009/11/14/matthew-fuller-search-engine-alternatives/.
Clark, Andy. Supersizing the Mind: Embodiment, Action, and Cognitive Extension, Oxford: Oxford University Press, 2008.
Feuz, Martin, Matthew Fuller and Felix Stalder. ‘Personal Web Searching in the Age of Semantic Capitalism: Diagnosing the Mechanisms of Personalisation’, First Monday 16.2 (2011).
Fox, Susannah and Sydney Jones. The Social Life of Health Information, Pew Research Center, 2009.
Freedman, David H. ‘Lies, Damned Lies, and Medical Science’, The Atlantic, November 2010, http:/www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/8269/. [译注:原文此处 URL 以 http:/ 开头,照录;原注 24 中为 http://。]
Goldacre, Ben. ‘The Information Architecture of Medicine is Broken’, 29 February 2012, http://www.youtube.com/watch?v=AK_EUKJyusg.
_____. Bad Pharma. How Drug Companies Mislead Doctors and Harm Patients, London: Fourth Estate Harper Collins, 2012.
Greenhalgh, Trisha. How to Read a Paper: The Basics of Evidence-Based Medicine, Oxford: Blackwell, 2010.
Harford, Tim. ‘Why We Do What We Do’, Financial Times, 28 January 2011, http://www.ft.com/cms/s/2/76e593a6-28eb-11e0-aa18-00144feab49a.html#axzz1lAG3KbL5.
Harnish, Robert M. and Denise D. Cummins. Minds, Brains, and Computers: A Historical Introduction to the Foundations of Cognitive Science, Oxford: Blackwell Publishers, 2000.
Hearst, Marti A. Search User Interfaces, Cambridge: Cambridge University Press, 2009.
Hollan, James, Edwin Hutchins, and David Kirsh. ‘Distributed Cognition: Toward a New Foundation for Human-Computer Interaction Research’, ACM Transactions on Computer-Human Interaction 7.2 (2000): 174-196.
Introna, Lucas and Helen Nissenbaum. ‘Shaping the Web: Why the Politics of Search Engines Matters’, The Information Society 16.3 (2000): 169-180.
Ioannidis, John P. ‘Contradicted and Initially Stronger Effects in Highly Cited Clinical Research’, JAMA, 294.2 (2005): 218-228.
Kirsh, David and Paul Maglio. ‘On Distinguishing Epistemic from Pragmatic Action’, Cognitive Science 18 (1994): 513-549.
Lehrer, Jonah. ‘The Truth Wears Off’, The New Yorker, 13 December 2010, http://www.newyorker.com/reporting/2010/12/13/101213fa_fact_lehrer.
Marchionini, Gary and Ryen White. ‘Find What You Need, Understand What You Find’, International Journal of Human Computer Interaction 23.3 (2007): 205-237.
Markoff, John and Saul Hansell. ‘Hiding in Plain Sight, Google Seeks More Power’, The New York Times, 14 June 2006, http://www.nytimes.com/2006/06/14/technology/14search.html?pagewanted=1&_r=1.
McPherson, Klim, John E. Wennberg, Ole B. Hovind, and Peter Clifford. ‘Small-Area Variations in the Use of Common Surgical Procedures: An International Comparison of New England, England, and Norway’, The New England Journal of Medicine 307.21 (1982): 1310-4.
Noë, Alva. Out of Our Heads, New York: Farrar, Straus and Giroux, 2009.
Pan, Bing, Helene Hembrooke, Thorsten Joachims, Lori Lorigo, Gery Gay, Laura Granka. ‘In Google We Trust: Users’ Decisions on Rank, Position, and Relevance’, Journal of Computer Mediated Communication 12.3 (2007): 801-823.
Pariser, Eli. The Filter Bubble: What the Internet is Hiding From You, London: Penguin UK, 2011.
Pratt, Craig M. and Lemuel A. Moye. ‘The Cardiac Arrhythmia Suppression Trial: Background, Interim Results and Implications’, The American Journal of Cardiology, 65.4 (1990): 20-29, http://circ.ahajournals.org/content/91/1/245.short.
Rogers, Richard. Digital Methods, Cambridge: MIT Press, 2013.
Rose, Nikolas. Politics of Life Itself, Woodstock: Princeton University Press, 2006.
Simon, Herbert A. Administrative Behavior, New York: Free Press, 1976.
Spink, Amanda and Michael Zimmer. Web Search: Multidisciplinary Perspectives, Berlin: Springer-Verlag, 2010.
Sunstein, Cass. Echo Chambers: Bush v. Gore, Impeachment, and Beyond, Princeton: Princeton University Press, 2001.
Stalder, Felix and Christine Mayer. ‘The Second Index. Search Engines, Personalization and Surveillance’, in K. Becker and F. Stalder (eds) Deep Search: The Politics of Search Beyond Google, Innsbruck: Studienverlag, 2009.
Studdert, David M., et al. ‘Defensive Medicine Among High-Risk Specialist Physicians in a Volatile Malpractice Environment’, JAMA, 293.21 (2005): 2609-2617.
Thaler, Richard H. and Cass R. Sunstein. Nudge: Improving Decisions about Health, Wealth, and Happiness, London: Penguin Books, 2009.
Timmermans, Stefan and Marc Berg. The Gold Standard: The Challenge of Evidence-Based Medicine and Standardization in Health Care, Philadelphia: Temple University Press, 2003.
Venturini, Tommaso. ‘What Is Second-Degree Objectivity and How Could it Be Represented’ http://www.medialab.sciences-po.fr/publications/Venturini-Second_Degree_Objectivity_draft1.pdf.
White, Ryen W. and Resa A. Roth. ‘Exploratory search: Beyond the Query-Response Paradigm’, Synthesis Lectures on Information Concepts, Retrieval, and Services 1.1 (2009): 1-98.
Zickuhr, Kathryn. Generations 2010, Pew Research Center, 16 December 2010.
