寻找知识：搜索时，“知道”意味着什么？
这个段落位置已不存在。请使用目录或当前章节查找内容。
Simon Knight
寻找知识：搜索时，“知道”意味着什么？
Simon Knight
你走进考场，紧张地叹了口气，坐下来，接上笔记本电脑的电源。试题网址发了下来，监考者提醒你：可以随意搜索信息、浏览网页，但不得与任何其他人交流。你看第一道题；题目给出了一位你不太了解的作者的一首诗、一段简短的历史背景，以及你以前学过的另一份资料。题目要求你运用对那个时代的知识，比较这些资料的视角。“好，”你一边打开一个流行的搜索引擎，一边想，“我需要知道什么……”
请考虑上面的情景。Andy Clark 和 David Chalmers 提出，在这类情形中，外部装置（互联网）发挥的功能，与内部装置（大脑）相同，因此应被视为心智的延伸。[1] 就本文而言，读者不必全盘接受延展心智论。这个例子的目的，是说明技术与心智关系的一般要点：分析技术的功能作用时，应考虑它怎样塑造我们的活动，它对“知识”等认识论概念的含义，以及采用技术前后实践的差异。
例如，这种分析对教育具有深远影响。在什么情况下，我们承认学生“知道”某件事？如何判断他们知道某件事（也就是，教育者如何声称自己知道学生的知识状态），又如何判断这种知识很重要？此外，我们如何思考技术的未来，以及技术可能怎样改变我们认为重要的东西——无论这种改变是好是坏？
实际上，外部工具的问题并不抽象。开卷考试、“带回家做”的考试和课程作业，都已经存在一段时间。而且，丹麦从 2009 年开始进行了一项为期三年的试点，允许考试时使用互联网；这一做法如今已经实施。[2] 在考试中纳入万维网（排除 可以用来与其他学生交流的网站），是丹麦早期考试做法的自然延伸：此前的考试已使用从 CD-ROM 到视频、音频和网页等多媒体资源。其目的是让学生有机会运用多种资源，并考察分析技能和元认知技能，例如通过多种方法检查数学计算的输出。
我觉得丹麦的例子特别有趣，因为它与我自己作为教师和学生经历过的评价方式相距甚远。此外，正如我和其他人所论证的，我们的评价方法包含着特定的认识论假设。测量对互不关联的“事实”的“知识”，所体现的知识观，与那些考查资源筛选和分析、要求产生批判性与评价性成果的方式相当不同。我们在社会和技术层面与信息互动的认识论含义，就是本文的主题。我将具体考察：搜索引擎作为信息提供者、为查询提供证言知识的作用；提供信息的人应如何考虑证言的接收者；最后，我们应如何处理多种视角，乃至知识中的空缺。
当然，对许多人而言，只是在互联网上检索准确的信息，可能就是一个挑战。读者也许有过这样的经历：朋友或同事提出一个问题，你转向搜索引擎，第一次查询便找到了答案。事实上，www.lmgtfy.com 这个网站——“让我替你 Google 一下”——正是为此而存在，它能以动画演示任何给定查询的搜索过程。不过，丹麦的例子表明，在这种情况下仍然要求学生记住信息（按某些人的说法，就是“知道”），同时又允许他们运用批判性素养，把多个网络来源的信息片段联系起来。
如前所述，我们应当考察技术对于思考方式及活动塑造的影响。但不应仅凭初步印象就认定，这些技术变化实际上代表了新的认识论——无论正面还是负面——或代表了关于“知道”之含义的新思考方式。相反，我们应努力理解“知识”的本质，以及信息提供者（包括非人类的信息提供者）如何中介我们对周围世界的理解，又如何一直如此。本文首先讨论技术变化研究中的一些问题，然后追问搜索功能扮演什么角色，以及这些功能如何影响我们自己对“知识”的理解。
研究搜索
互联网对思考方式的影响，已通过许多文章吸引公众关注；这些文章往往持批判态度。[3] 不过，其中许多文章把变化视为坏事，尤其是把神经层面的任何变化迹象视为坏事，而且它们经常报道的是在极其特殊的条件下进行的研究。然而，考虑到人脑高度的可塑性， 神经变化并不令人意外；而要跨越多个年龄群体和教育制度控制条件、扎实地追踪能力随时间的变化，则极其困难。
这些争论的很多实质内容，归根结底是我们重视什么。过去，我们重视记忆以及对事实的背诵，部分原因是这些容易考核。[4] 然而，大多数人大概会同意，教育的目的不是迅速回忆事实——不是培养能背出历代君王年代的世界级酒吧问答高手。相反，评价背后的想法是：如果学生能够回忆事实，那么以此作为间接指标，他们便拥有关于这些事实的知识，也就能够运用批判性的评价技能等。根本上说，知识由这些技能构成——理解知识的关联性、进行评价、作出可信度判断——而不是在受限情境中回忆单个“事实”。批判性技能也是丹麦制度试图测量的东西；既然搜索引擎使事实容易获得，就更容易把重点放在综合与评价上。不过，工具如何帮助塑造思考的问题依然存在。正如书籍借助索引、章节、参考文献表等，以某种方式呈现信息，互联网及搜索引擎、浏览器和社交网站等访问工具，也同样如此。
作为信息提供者的搜索引擎
丹麦例子中一个有趣方面，是考试禁止使用交流网站。然而，搜索引擎与社交网站之间的界限正在日益模糊。的确，Google 的广告话语常强调希望“在你自己之前，知道你想要什么”；[5] 而 Bing（与 Facebook 合作）至少在北美已开发出“Bing Social”，[6] 口号是：“每一次搜索，都有人能够帮忙。”
Google 的策略，是利用语义网技术的发展，识别与特定查询相关联的关键事实。因此，搜索 Florence Nightingale 会得到一个标准的搜索引擎结果页（SERP），上面列出关键链接。不过，除了这一结果页，右侧还会出现一个方框，其中包含从 Nightingale 的维基百科条目提取的若干关键事实。相比之下，Bing Social 利用社交网络数据的类似发展，推断某人是否可能成为特定查询的合适“信息提供者”——例如，判断此人是否具有历史人物这一领域的相关资历。因此，Google 的知识图谱越来越像一个直接的信息提供者，亲自给出信息；而 Bing Social（以及 Facebook 图谱搜索）则旨在从你的社交网络中，为你寻找优秀的信息提供者。
这两种方式都有明显用途和优势，但也存在潜在问题。在自己的社交网络中寻找信息提供者（Bing Social 与图谱搜索的做法），例如可能有以下风险：
- 如果社交网络中介了你的信息寻求，返回结果就可能存在确认偏误。如果结果受到朋友圈影响，尤其是以我们可能没有意识到的方式带有偏向，就会引发对于搜索之认识论性质的严重担忧。我们可能期待搜索既返回所有相关结果（查全率），也返回符合明确标准的具体结果（查准率）。
- 对于不上网或很少上网的人，上述担忧尤其成立；这既涉及离线搜索者获取信息，也涉及在线搜索者获取关于离线者的信息。
- 这类数据很可能杂乱无章。许多人可能不希望自己生活的所有方面都可以被搜索（事实上，还有专门讨论此事的 Tumblr[7]）。许多人在社交网络发布的信息，也许会让他们在搜索结果中突出，却不一定使他们成为好的信息提供者。例如，他们给某些页面点赞，是为了展示自己实际不具备的某种属性，或者获取品牌折扣，或者监测活动（如关注政治对手的动态）。
哲学家 Miranda Fricker 研究中的两个关键概念，在这里尤其富有启发；[8] 据我所知，它们尚未在这一语境中得到探索：
- 证言不正义的风险：某些类型的用户知识，可能因用户的某些人口统计或个人特征，而被特定行动者边缘化。在某种搜索（或推荐）系统中，这类风险究竟更大还是更小，是一个有趣的问题（也可以把它看作个人施行偏见的一种情形）。
- 诠释不正义的风险：某些类型的用户知识，可能被系统边缘化，甚至让用户意识不到自身遭受的认识论不正义。同样，在某种搜索（或推荐）系统中，风险究竟更大还是更小，很值得研究。（这种风险可以理解为边缘化的情形，与明确施行偏见有所不同。）
可以说，这些问题属于更一般的过滤气泡问题的一部分：人们担心，搜索引擎通过个性化与人口统计特征来过滤结果页，为个人提供带偏向的信息，强化既有信念。下面我就转向这个问题。
作为认识工具的搜索——更多你想要的东西
利用搜索引擎寻找信息或信息来源，是学生必须经常从事的日常活动。在一篇 2012 年的论文中，Thomas Simpson 提出，搜索引擎承担了“代理专家”的角色，我们应关注其认识论性质：返回相关结果（查准率）、 不排除相关结果（查全率）、及时返回结果，以及优先呈现可信来源的能力。[9] 尤其是，它们应当“客观”。他的意思是，如果某个事件存在两种说法，且二者在网络上得到同样多的链接，那么它们应当交错排列，而不应一方整体压在另一方之上。搜索结果页不应对可信来源呈现偏颇视角。
然而，Simpson 及其他一些作者认为，搜索结果个性化不符合这一“客观性”标准。他认为，呈现可能强化用户既有信念的信息很成问题，因为除非用户是一个“认识论圣人”，[10] 否则搜索引擎便未能代表被搜索的领域。Simpson 提出两种解决办法：第一，关闭个性化，或使用不进行个性化处理的搜索引擎；第二，通过法律规制搜索引擎的客观性。
虽然围绕这个问题确实存在合理担忧，但在这里，我想结合证言知识，讨论推动个性化和个人推荐（例如上文 Bing Social 的例子）的某些动机。在过滤气泡的语境中，我们应考虑：
- 搜索者在查询中，本来就可能是在寻找有偏向的信息。搜索“Al Gore inconvenient truth”（阿尔·戈尔难以忽视的真相），与搜索“Al Gore liar”（阿尔·戈尔骗子），可能得到相当不同的结果。
- 搜索结果页可能出于两个原因呈现偏向：
- 偏向来自结果的个性化（这大致属于证言不正义）。
- 偏向来自一个在认识论上本来就不平衡的环境，例如维基百科条目和编辑者中某些语言和性别占主导（这大致属于诠释不正义，搜索引擎处理起来可能更具挑战）。
- 社交搜索很可能呈现许多相同的问题，但许多不进行个性化处理的搜索引擎也会如此。
我们值得思考搜索引擎在认识性探究中的作用，以及它如何把自己对搜索者作出的假设显露出来，从而履行信息提供者的职责。
证言性专长
你正在完成一个学校研究项目，主题是西班牙某个地方节庆，而它恰好与一个英国服装品牌同名。你请父母推荐一些介绍这个节庆的有用网站；他们给了你附近一个英国艺术节的资料，还有一个网站链接，上面用小学程度的英语介绍那个服装品牌……
寻求信息时，我们在不同语境中关注不同的东西。“语义网”的一项挑战，是理解某个词可能指示的各种含义——简言之，就是理解语境。因此，一些研究者开始谈论“语用网”，即发展技术，支持把语言理解为行动中的语言，以便理解 查询可能怎样使用。[11] 当然，在教育中，我们还希望训练人们在合适的语境中关心合适的事情。
上面的例子突出了这类“帮助”可以有多么令人恼火。类似地，虽然搜索引擎很少是真正的代理专家（知识图谱是一个反例），它们确实通过指向优秀的信息提供者来追求质量——也就是通过作出证言，说明某个网站在给定语境中是良好来源。我们期待人类及非人类的信息提供者考虑我们自身的重要因素，虽然我们可能容许某些因素保持隐含（如信息的地理定位），却不容许另一些因素如此（如政治倾向，或读写素养水平等方面）。
个性化
一项搜索功能返回英语结果；当你核查数量时，它默认使用公制，并且总是采用十进制数字系统。[12] 当你搜索晨间新闻时，返回了一组你爱读的左翼博客，还有一个新来源，以及一位朋友在热门社交网站上推荐的文章。
在后一种情况下，搜索引擎参与确认偏误的问题当然可能存在，但真正值得关注的是搜索者自身的认识论立场，以及他或她对其他视角的开放程度；搜索引擎或许能够一边突出推荐内容，一边向搜索者呈现其他视角。考虑过滤气泡时，我们应更多关注行动者这一层面。
不过，尽管如此，我们至少可以设想两类主要情形，其中存在过滤气泡，而搜索者并未参与促成：
- “种族主义同学”的情形。在这个例子中，搜索者有一个同学在搜索白人至上主义网站，但搜索者并不知情。事实上，我们也可以设想一个更无害的例子：搜索者的同学特别喜爱某家当地咖啡馆；搜索者并不知道，自己的搜索因此被推向那家咖啡馆，而不是其他同样受欢迎、评价同样好、知名度相当的当地商家。问题并不是搜索引擎知道人的地理位置，而是它依据重复搜索进行调整，却不在界面上明说，因此结果页给出了一组不客观的结果（即便偏向由本人过去的搜索所造成，这一点也成立）。
- “有偏向的社群”的情形。在这个例子中，我们设想某个国家的大多数搜索者，对某个议题更倾向于一种观点，而非另一种。因此，尽管网上存在来自另一视角、可信、及时且链接充分的资源，该国搜索者仍更可能被引向多数人的观点。
这两种情况下，搜索引擎都以某种方式中介我们获取信息的过程，使我们对信息的理解变得更不透明；因此，它们未能担当客观的信息提供者。
我们可以看到，在一定程度上，个性化恰恰是我们期待信息提供者做到的事——我希望获得理解我的语境的信息。但我也希望能够追问信息提供者如何理解我的语境，确保我们可以说是“达成了共识”；搜索引擎在这方面往往失败。我想指出，个性化之所以不好，并不是因为它不客观，而是因为当信息提供者对证言作出“客观”判断时，我们期待他们说明，为得出结论而采用了哪些实质性假设。我们期待对他们关于我们信息需求所作的假设，具有某种共同理解。搜索引擎通常不提供这样的披露，除非它们有充分理由这样做——往往与广告有关，例如为基于地理位置的定向广告，要求搜索者确认邮政编码。不过，即使这些假设明确给出，其影响也经常没有说明。下面，我将讨论社会与技术如何中介我们对信息理解的另一个例子，然后提出对当前状况的最后一个挑战。
没有答案也足以构成答案时
关于我们如何思考信息，一个相关而有趣的问题，是“沉默的证言”：缺乏信息本身向你传达了某些东西。[13] 我们可以想象它发生在若干情形中：
- 搜索者查询搜索引擎，没有得到答案，并把这理解为某种肯定性知识（例如，搜索交通拥堵信息而一无所获，于是相信目前没有交通问题）。
- 搜索者寻找信息，没有得到答案，并认为这意味着社群支持或专业能力不足（例如，在上述情形中，假定没有答案是技术失灵造成的；或者在科学情境中，认为没有答案意味着没有关于所搜主题的研究）。
- 人们寻找信息，却得到不相关的答案（例如，上面的“不良信息提供者”例子中，搜索者寻找某个节庆的信息，返回的全部结果却都属于另一个概念）。
- 人们寻找信息，却没有看到回应（例如，搜索结果的权重设置不利于他们所寻找的答案，上述某些过滤气泡情形即是如此）。
同样，在这个语境中，搜索引擎、搜索者和认识环境，都对知识状态产生影响。举一个复杂例子：在我开展的一项研究中，我请课堂上的 11 岁儿童寻找这个问题的答案：“How many women have won The Nobel Prize?”（有多少位女性获得过诺贝尔奖？）[14] 从许多方面看，这个查询相当简单；事实上，只要把查询输入多数搜索 引擎，便会得到一个包含正确答案的相关结果。不过，略令我惊讶的是，有些孩子访问“问答”类网站，直接接受了用户提交的说法，而没有核查答案的日期，这反映出他们未注意到这类知识主张会发生变化。在其他问题上，一些孩子找不到答案就认定没有答案，既不调整搜索词，也不思考其他信息可能怎样与问题有关。教育场景还有一重复杂性：内容过滤器可能阻止学生看到高度相关的结果。
在每一种情形中，搜索结果的呈现方式和用户互动都会产生影响。用户可能更容易看到确认自己既有信念的信息；这种偏误涉及查询、所点击的结果，以及从选定结果中带走的信息。例如，微软研究院近期的证据表明，在健康领域，搜索者更偏好正面而非负面信息，搜索引擎也是如此；这就在负面结果周围，以“沉默的证言”为基础创造了过滤气泡。[15] 重要的是，在许多情况下，这种偏误导致人们接受错误的健康信息。[16]
关注多样性的搜索
前文指出了我们如何寻找信息的一些问题，也说明了为什么理解其中的社会技术因素可能很有意义。人们提出过许多解决办法，但不少办法本身也有问题。例如：
- 一种解决过滤气泡的办法，是不对结果做个性化处理。然而，这存在问题，因为如上所述，我们期待优秀的信息提供者具有一定程度的个性化。我们希望信息符合已有理解、符合我们的语境——即便仅仅是地理语境——等等。不过，DuckDuckGo 等搜索引擎正是采用这种做法。
- 另一种办法，是用朋友和其他社会联系作为信息提供者。朋友理解我们共有的知识，能够照顾这一点，也可以更直接地向他们追问理由。当然，这里仍存在重要偏误；对于范围相当广泛的主题，朋友可能无法提供信息。此外，很多时候，我们从一开始就不希望社会关系中的人知道自己的信息需求。
- 还有一种办法，是刻意展示超出探究范围的结果，无论这种超出是主题层面、社会层面，还是观点层面的。
最后一种方式很有趣，因为它试图让视角与语境多样化；它被称为“关注多样性的搜索”（Diversity Aware Search）。[17] 正如有人指出的，“多样化接触”可能是戳破过滤气泡的一种手段，方法包括结果聚类、描绘搜索者实际浏览文章的“平衡度”，以及要求 读者考虑多种视角，并据此参与讨论。[18] 例如，“液态出版物”（liquid publications）项目[19] 开发了一种关注多样性的学术搜索：把搜索者过去合著过论文的作者的论文排名降低，以避免其学术网络中的同质性偏好。
其他办法可能包括：寻找对同一组文档进行聚类的不同方式，或者向搜索者展示不同用户的聚类结果。[20] 这在用户正在“探索”信息环境、最初尚无明确信息需求时，可能尤其有效。[21] 这时，搜索者既可能不了解其他分组方式，也可能没有意识到，自己的信息需求还可以用多种方式界定。这些路径或许能够将通常隐藏着的个性化方面显露出来。
这种关注多样性的搜索工具还有一个好处：它们让我们有机会处理搜索者知识中的“内容空洞”。[22] 的确，这种路径可能有助于解决上面提出的某些“沉默”问题。借用 Nadamoto 等人的例子，我们可以设想一个墨西哥社群，社群中对墨西哥猪流感已有广泛讨论和了解。[23] 但是，如果该社群没有把它同全球更广泛的猪流感风险联系起来，就存在一个内容空洞。通过把博客中的社群讨论，与相关维基百科页面的内容相比较，可以识别这样的缺口。
有趣的是，这种做法也可能导致意外后果。例如，一些研究表明，接触对立观点可以强化自己的立场，并使自己更善于反驳对方。此外，通过减少冗余（信息重复）来增加多样性的技术路径，可能使人质疑一个重要的可信度线索，因为在试图相互印证来源时，重复信息可能非常关键。因此，关注多样性的搜索并不是解决上述问题的最终方案，而是指向一种设计特征：它可能提供有趣的替代方式，并带来与搜索用户之间不同的互动。不关注多样性的搜索引擎有一个大问题：用户几乎永远无法知道，检索到的信息究竟有多么偏颇。如果搜索引擎能够说明自己执行了哪些过滤和解释步骤，便会有所帮助。
结论
题目要求你运用对那个时代的知识，比较资料中的不同视角。“好，”你一边打开一个流行的搜索引擎，一边想，“我需要知道什么……”
外部资源的可获得性，促使我们思考“知道”某件事意味着什么，以及哪些知识重要。问你“clepsydra”（漏壶）是什么，在闭卷考试与开卷或可联网的考试中，含义是不同的。这不是说记忆“事实”没有价值；有时它十分重要，例如记住道路标志的含义。但是，事实并不脱离意义；探索人们怎样使用信息，可以让我们理解他们的知识状态。
在互联网上，手边的工具提供通向信息的路径，给出某些特定路线，又经常掩盖通向相同或其他目的地的替代道路。设计搜索引擎是一项艰巨挑战：许多搜索是“精确”搜索，旨在找回一个具体项目；但还有许多搜索，例如计划度假、权衡科学文献，则涉及“探索性”活动及对来源可信度的判断。思考如何为这些不同目的最佳地呈现结果，很复杂（事实上，Google 目前也正在征求反馈，了解在这方面如何改进[24]）。即使技术不断改进，我们仍应提高人们对技术如何中介信息获取的认识；教育也应体现这种认识的重要性，同时培养相应的批判性评价和可信度判断技能。
参考文献
Adams, Tim. ‘Google and the Future of Search: Amit Singhal and the Knowledge Graph’, The Guardian, 19 January 2013, http://www.theguardian.com/technology/2013/jan/19/google-search-knowledge-graph-singhal-interview.
Clark, Andy, and David Chalmers. ‘The Extended Mind’, Analysis 58.1 (1998): 7-19.
Connell, Derrick. ‘Bing Social Updates Arrive Today: For Every Search, There is Someone Who Can Help’, Bing Blogs, 17 January 2013, http://www.bing.com/blogs/site_blogs/b/search/archive/2013/01/17/bing-social-updates-arrive-today-for-every-search-there-is-someone-who-can-help.aspx.
Fricker, Miranda. Epistemic Injustice: Power and the Ethics of Knowing, Oxford: Oxford University Press, 2009.
Garfield, Eugene. When Is a Negative Search Result Positive? Essays of an Information Scientist vol. 1, 12 August 1970, http://www.garfield.library.upenn.edu/essays/V1p117y1962-73.pdf.
Knight, Simon. ‘Danish Use of Internet in Exams – Epistemology, Pedagogy, Assessment…’ Finding Knowledge blog, 23 July 2013, http://people.kmi.open.ac.uk/knight/2013/07/danish-use-of-internet-in-exams-epistemology-pedagogy-assessment/.
_____. ‘Is Google Making Me [Stupid|smarter]…How About Bing?’ Finding Knowledge blog, 23 January 2013, http://people.kmi.open.ac.uk/knight/2013/01/is-google-making-me-stupid-or-smarter-how-about-bing/.
_____. ‘The Pragmatic Web: More than Just Semantics Contextualized’, Finding Knowledge blog, 4 January 2014, http://people.kmi.open.ac.uk/knight/2013/01/the-pragmatic-web-more-than-just-semantics-contextualised/.
Knight, Simon and Neil Mercer, ‘The Role of Exploratory Talk in Classroom Search Engine Tasks’, 载 Technology, Pedagogy and Education，待出版，2014。
Nadamoto, Akiyo, Eiji Aramaki, Takeshi Abekawa, and Yohei Murakami. ‘Content Hole Search in Community-type Content Using Wikipedia’, in Proceedings of the 11th International Conference on Information Integration and Web-based Applications & Services, 25-32, 2009, http://dl.acm.org/citation.cfm?id=1806353.
Resnick, Paul, R. Kelly Garrett, Travis Kriplean, Sean A. Munson, and Natalie Jomini Stroud. ‘Bursting Your (Filter) Bubble: Strategies for Promoting Diverse Exposure’, in Proceedings of the 2013 Conference on Computer Supported Cooperative Work Companion, 95–100, 2013, http://dl.acm.org/citation.cfm?id=2441981.
Russell, Dan. ‘Why Knowing Search Isn’t the Same as Having an Education’, SearchReSearch blog, 1 August 2011, http://searchresearch1.blogspot.co.uk/2011/08/why-knowing-search-isnt-same-as-having.html.
Simperl, Elena, Devika P. Madalli, Denny Vrandevcic, and Enrique Alfonseca. ‘DiversiWeb 2011’, In ACM SIGIR Forum, 45 (2011): 49-53, http://dl.acm.org/citation.cfm?id=1988861.
Simpson, Thomas W. ‘Evaluating Google as an Epistemic Tool’, Metaphilosophy 43.4 (2012): 426-445.
Singh, Rahul, Ya-Wen Hsu, and Naureen Moon. ‘Multiple Perspective Interactive Search: a Paradigm for Exploratory Search and Information Retrieval on the Web’, Multimedia Tools and Applications 62.2 (2013): 507-543.
Patrick Thomas, ‘Give Us Your Feedback on Search Policies’, Inside Search blog, 23 August 2013, http://insidesearch.blogspot.co.uk/2013/08/give-us-your-feedback-on-search-policies.html.
Verbeke, Mathias, Bettina Berendt, and Siegfried Nijssen. ‘Data Mining, Interactive Semantic Structuring, and Collaboration: A Diversity-Aware Method for Sense-Making in Search’, in Proceedings of First International Workshop on Living Web, Collocated with the 8th International Semantic Web Conference (ISWC-2009). CEUR Workshop Proceedings, Washington, DC, USA. Vol. 515, 2009, http://www.liacs.nl/home/snijssen/publications/iswc2009.pdf.
White, Ryen W. ‘Beliefs and Biases in Web Search’, SIGIR’13, Dublin, Ireland, 28 July-1 August, 2013, http://research.microsoft.com/en-us/um/people/ryenw/papers/WhiteSIGIR2013.pdf.