为什么我们需要独立的网络索引

Dirk Lewandowski¶

为什么我们需要独立的网络索引

Dirk Lewandowski¶

搜索引擎索引作为“网络的本地副本”发挥作用，^[1] 构成每个搜索引擎的基础。搜索引擎必须不断寻找新文档，检测现有文档的变化，并在文档不再能够从网络获取时，将其从索引中移除。考虑到网络包含数十亿份不断变化的文档，搜索引擎面对的挑战就很清楚了。要维持一个绝对完整且最新的索引，是不可能的。^[2] 数据池每秒变化数千次，没有哪个搜索引擎能够跟上如此迅速的变化。^[3] 因此，“网络的本地副本”至多可以被视为网络索引工作的圣杯——在实践中，不同搜索引擎在追求这个目标时，始终只能取得程度不同的成功。^[4]¶

搜索引擎并非仅仅捕获所发现文档的文本（尽管人们经常如此误以为）。它们还会生成文档的复杂副本。例如，这些表征包括文档受欢迎程度的信息（以其被访问次数或网络上指向该文档的链接数量衡量）、从文档中提取的信息（例如作者姓名或文档创建日期），以及一个基于文本的替代 版本，由其他链接到该文档的文档中的锚文本构成。简单地发现并保存文档，与为搜索引擎处理和准备文档所涉及的额外工作，必须加以区分。¶

另一个需要考虑的因素是用户视角。每个人都使用网络搜索。使用搜索引擎在网上查找事物，是互联网上最普遍的活动，甚至超过电子邮件。^[5] 搜索引擎用于各种研究和查找：从简单地寻找以前访问过的网站，到查询冷知识以及复杂问题，例如规划假期或寻找疾病的治疗方案。¶

搜索领域的一个惊人之处在于，用户主要依赖一个特定的搜索引擎：Google。在欧洲国家，Google 几乎处于垄断地位，市场份额超过 90%。^[6] 因此，搜索引擎用户不仅必须依赖 Google 这个搜索引擎及其独特的结果排序方式，还受限于 Google 数据集合的边界。如果 Google 没有看到它——并将其编入索引——或者没有让它保持更新，就无法通过搜索查询找到它。¶

那么，替代选择呢？如果 Google 处理了超过 90% 的搜索请求，至少剩余 10% 会交给其他搜索引擎处理。［译注：原文同时写“超过90%”与“剩余10%”，此处照录；若严格按前者计算，剩余份额应小于10%。］这里必须注意，许多看起来像搜索引擎的提供者，其实只是访问另一个搜索引擎数据的服务；它们不过是某个较知名搜索引擎的替代用户界面，而且在许多情况下，那个搜索引擎就是 Google。¶

较大的互联网门户早已不再运行自己的搜索引擎，而是依赖服务合作伙伴。以德国为例，主要互联网门户 T-Online、GMX、AOL 和 web.de 都展示来自 Google 的结果。因此，Google 的市场份额持续增长。在那些自以为正在使用替代搜索引擎的人中，相当一部分其实在访问 Google 的数据，无论他们是否知情。真正的替代选择确实存在，但在德国搜索引擎市场中仅扮演极为次要的角色。主要竞争者是 Bing、Ask.com 和 Metager。不过，其中只有 Bing 可以声称拥有显著的搜索请求份额。有意思的是，这些替代选择中有一个是元搜索引擎，并没有自己的索引。Metager 会访问另外几个搜索引擎的数据库。其他欧洲国家的搜索引擎市场与德国相似：Google 占据主导地位，其他搜索引擎只能获得极小的市场份额，或者根本不是真正的替代选择，因为它们无法展示自己的搜索结果，只能展示 Google 的结果。¶

当然，可以把使用 Google 搜索引擎的决定视为个人选择，并追问：几乎只使用一个搜索引擎，到底有什么不好？简单的回答是，正如我们需要不止一份报纸，以确保媒体能够代表多样的意见范围，我们也需要不止一个搜索引擎，以确保搜索市场能够代表广泛的意见。¶

不过，如果考虑到搜索引擎并不像媒体那样，从大量已有内容中选择相对少量的条目来充当把关人，那么与媒体的类比就不完全适用了。在搜索中，每一次请求都会生成一个新的文档集合，用户再从中进行选择。因此，最终出现的是双重的，或者更准确地说，两阶段的选择过程：输入搜索请求时所作的选择，以及从所呈现结果中选择一个或多个的过程。搜索引擎市场的多样性值得追求，因为它能确保选择并不总是依据同样的标准发生，也能确保用户可以在由算法生成搜索结果所产生的不同世界观之间作出选择。¶

这一论点并不是说，搜索引擎有意或无意地在推广某种特定世界观。但是，在实现文档排序算法时所需作出的决定，受到远远超出纯技术考量的因素影响。因此，不带意识形态的排序算法是不可能的，也不是值得追求的。我们应当追求的是由多个排序算法彼此竞争所带来的多样性。下文中，我将尝试阐明索引在搜索环境多样性中所发挥的关键作用。我主张建立一个人人都能访问的独立索引，并说明缺乏这种索引如何妨碍人们对搜索领域进行投资。¶

替代性的搜索引擎索引

只有少数几个搜索引擎运行自己的索引。尤其在新兴搜索引擎创业公司中，经常可以观察到，它们要么更愿意依赖已有的外部索引，要么把自己限制在一个非常专门的主题上（通常只需要很小的索引），要么汇集若干不同搜索引擎的数据，提供所谓的元搜索引擎。¶

元搜索引擎并不直接访问那些为其提供数据的搜索引擎的索引。相反，它们只从每个来源搜索引擎接收一定数量排名靠前的结果，再把这些结果组合成一个新的排名。因此，一个汇集五个其他搜索引擎结果、从每个引擎获取 20 个条目的元搜索引擎，其自己的排名中最多会列出 100 份文档。元搜索引擎的限制由此很容易看出；此外，它们无法访问文档本身。它们拥有的只是来源搜索引擎结果列表提供的网址和描述，以及来源搜索引擎的排名信息（即相应文档排在多高的位置）。¶

除了元搜索引擎和专门搜索引擎，^[7] 近几年也出现了一些真正的搜索引擎创业公司。Blekko 和 DuckDuckGo 这样的服务商运行自己的索引。然而，没有信息说明这些搜索引擎拥有多少数据、多久更新一次，而且无论如何，它们更多是例外而非常态。建立并运行一个有竞争力的独立网络索引，成本实在太高（至少目前如此），无法实现盈利。^[8]¶

前面我提到，一些看似搜索引擎的门户和服务，实际上搭载的是“真正”搜索引擎的结果。Google、Bing 这样的“真正”搜索引擎提供者，不仅运行自己的搜索引擎，也向合作伙伴提供搜索结果。例如，Yahoo 展示 Bing 的结果已经有好几年了。表面上，Yahoo 看起来像一个搜索引擎（它有自己的页面布局，乍看之下，结果格式也与 Bing 略有不同）。但结果本身与从 Bing 获得的结果完全相同。¶

所有将搜索作为众多服务之一提供的主要门户网站，如今都采用了这种模式。这种安排的关键组成部分，就是所谓的合作伙伴索引（搜索引擎提供给合作伙伴的索引）。当搜索结果旁的广告被点击时，收入就产生了，并由搜索引擎提供者与合作伙伴分成。这种模式对双方都有吸引力，因为搜索引擎提供者向合作伙伴提供搜索结果的成本极低，^[9] 而门户运营者不再需要承担运行自己搜索引擎的巨额支出。它们所需要的只是在门户上拥有足够流量——靠这种模式盈利几乎不费什么力气。因此，替代搜索引擎如今所剩无几、门户也不再运营自己的索引，就不足为奇了。合作伙伴索引模式的收益实在过于丰厚，使其他方案难以可行，也削弱了搜索行业的竞争。^[10] 搜索引擎市场缺乏多样性，至少部分可归因于这种模式的成功。毕竟，展示的搜索结果页广告越多，合作伙伴索引模式的利润就越高。因此，拥有全面广告网络的大型搜索引擎具有内在优势。^[11]¶

访问搜索引擎索引

大型搜索引擎索引可以通过所谓应用程序编程接口（API）来访问。API 允许合作伙伴自动获得搜索结果，随后用于自己的目的。这种商业模式一般允许每天一定数量的免费搜索请求，只有达到某个上限后才需付费。那么，这难道不意味着，人们可以不承担创建和维护独立索引的成本，就运行一个搜索引擎吗？¶

问题在于，即使通过 API，也无法直接访问搜索引擎索引。相反，提供的只是数量有限、已经由搜索引擎提供者排好序的靠前结果。因此，通过 API 访问与元搜索引擎的做法相似（元搜索引擎有时也使用 API），区别在于这里仅使用一个搜索引擎作为来源。¶

对于每条搜索结果，API 也会提供其网址及搜索引擎结果页上展示的描述。但它不会提供文档本身（需要另行使用网址请求文档）。更值得注意的是，来源搜索引擎中的文档表征也不包含在内。此外，价格不仅由搜索请求数决定，还取决于请求的结果数。例如，Bing API 通常提供前 50 条结果；超过前 50 条的额外结果，Bing 会收费。结果总数还被限制为 1000，这对于分析目的而言常常不够。其他搜索引擎（如 Google）只提供免费版 API，但每日可用的搜索请求量有限。几乎不可能在这种受限 API 上建立商业服务。¶

不过，提供完整访问权限的索引确实存在。其中最突出的是 Common Crawl，^[12] 这是一个非营利项目，目标是为任何感兴趣的人提供网络索引。Blekko 搜索引擎将自己的网络爬取结果捐赠给该基金会，为这一索引作出贡献。还有一些网络爬取服务为研究目的开放其结果，例如 Lemur 项目。^[13] 在这两种情况下，服务都只是静态抓取，并不定期更新。由于这一局限，它们不适合用于商业搜索引擎。Common Crawl 代表了一项重要进展，该项目在广泛开放网络索引方面做出了开创性的工作。评价这项服务的意义，与其看它是否真能成功提供一个用于互联网搜索和分析的全面索引，不如看它是否成功唤起了人们对公开可用的网络索引这一议题的意识。¶

替代性的搜索引擎

过去，曾有人努力建立替代搜索引擎。但对于什么构成“替代”，尚无共识。有人可能把所有 不是 Google 的搜索引擎都视为替代选择。这包括所有曾被誉为下一个“Google 杀手”、却始终未能长期成功的搜索引擎。失败尝试的名单很长，Cuil 无疑是其中较受瞩目的失败者之一。它推出前充满宏大宣言和强烈期待，但仅仅几年后，服务便终止了。还有一些搜索引擎虽是替代选择，却没有被这样看待，因为人们认为它们与 Google 毫无区别。这类主要是 Bing，也包括 Yahoo 等其他提供者——在它们还运行自己搜索引擎的时期。这些搜索引擎的共同点是：人们或许把它们看作独立提供者，却看不出它们提供的东西显著超越了 Google 能够提供的内容。它们没有提供足以使更换搜索引擎值得的东西。¶

还有一些搜索引擎明确将自身定位为 Google 的替代者，强调自己更善于处理本地语言或欧洲语言，并借助对地方事务更深入的了解来控制搜索结果质量。其中一个例子是“欧洲搜索引擎”Seekport，运营时间为 2004 至 2008 年。^[14] 因而，这类搜索引擎并不是凭借与主导搜索引擎根本不同的技术方法来区分自己，而是侧重于区域性方法。¶

我们还应注意到一些尝试：为搜索引擎技术提供公共支持，促进创建一个或多个替代搜索引擎。德法联合项目 Quaero 就是一例。然而，由于法德双方未能达成一致，项目被拆分为两部分：Quaero（法国部分）和 Theseus（德国部分）。法国团队开发多媒体搜索技术；Theseus 则集中于面向企业间应用的语义技术（并不只关注搜索）。另一方面，“真正的替代者”可以定义为采用不同于传统网络搜索引擎方法的搜索引擎。可设想的服务包括语义搜索引擎，以及收集网络内容并使之可访问的替代方法，例如网络目录、社会化书签服务和协作式问答服务。然而，这些项目的共同点是市场份额微不足道。它们共有的线索在于：所有这些模式和替代方案作为搜索工具都失败了，尽管作为网络上各自独立的类型，它们仍可能发挥作用。¶

为搜索引擎技术提供政府资助的提议，过去曾遭受激烈批评。但这未必是一个坏主意。不过，如果目标只是建立单一的替代方案，这类支持就不合适。即便这个新的替代者质量很高，仍有许多因素可能导致其失败，而且这些因素甚至不必与搜索本身有关。问题可能出在营销不善，或用户界面的平面设计上。无论原因是什么，这个新搜索引擎的失败都会导致整个公共资助项目失败。¶

此时，我想重新回到搜索引擎索引的概念。如果我们资助一个搜索引擎索引，并向其他提供者开放，就有可能创造的不只是一个替代搜索引擎，而是多个。其中某个搜索引擎的失败，不会影响其他搜索引擎。此外，即使计划成功，仅增加一个替代搜索引擎也不够——只有选择数量达到临界规模（当然，也必须有人实际使用这些新搜索引擎），才能真正建立多样性。¶

从经济视角考虑搜索引擎索引，就会清楚看到，只有最大的互联网公司才负担得起大型索引。如前所述，除 Google 外，Microsoft 是唯一拥有全面搜索引擎索引的公司。Yahoo 几年前放弃了自己的索引，选择了网络门户熟悉的道路，从其他提供者获取搜索结果。看起来，运营一个专属索引几乎对谁都没有吸引力——而且无论如何，具备所需财力的候选者也寥寥无几。即使偶尔流传的传闻之一成真，比如 Apple 这样财力雄厚的公司准备推出自己的索引，谁又会受益？我认为，搜索引擎市场是由两家、三家还是四家参与者瓜分，实际差别很小。只有建立数量可观的搜索引擎，才能实现真正的多样性。¶

解决方案

如我们所见，通往更大多样性的道路，不能仅靠寄希望于一个新的搜索引擎（一个 Google 杀手）；政府扶持单一替代者也无法实现这个目标。真正需要的，是首先创造让这种搜索引擎能够建立起来的条件。我已经说明，建立和维护专有索引，是开展这种事业最大的阻碍。我们必须首先克服这一障碍。这样做仍不能解决搜索引擎市场缺乏多样性的问题，但可能建立起实现这个期望目标所必需的条件。我们无法预测谁会使用这一索引中的数据，也无法预测数据将被用于什么目的。但我们可以预期，它提供的可能性会使多种公司、个人和机构受益。结果将是公平竞争，去开发利用索引所提供数据的最佳构想。¶

这个提议背后的愿景，是确保人人都能在公平条件下访问一个网络索引。¶

• “人人”意味着，任何感兴趣的人都可以访问这个索引。

• “公平条件”并不意味着必须向所有人免费提供索引访问。我设想，索引是一项由政府资助、作为基础设施提供的计划，应当通过收取使用费，尝试收回至少部分成本。类似前文介绍的流行 API 商业模式，每天一定数量的文档请求可以免费提供，以促进非营利项目。

• 对索引的“访问”，可以定义为轻松自动查询索引的能力。此外，实际取得索引所包含的全部信息，也应当很容易。不同于前文介绍的现有商业搜索引擎 API，索引应当提供包括文档全文在内的完整文档表征。此外，不应限制文档或文档表征的 数量，使索引用户真正能够基于庞大的文档池形成良好的排序。不过，仍应为索引查询提供基本的排序功能，使请求的文档数量也可以用适当方式加以限制。^[15]

• “网络索引”这一概念意在尽可能覆盖更多网络内容。这意味着，索引应当包含当今搜索引擎提供的所有常见内容类型，包括新闻、图像、视频等。不过，也可以加入目前尚未被搜索引擎索引的其他内容类型。某些信息集合虽不能引起消费者的兴趣，却对研究者和开发者有用。此类信息包括从文档中派生的元数据，例如词频分布、垃圾信息相关资料等。

这类项目需要投入相当可观的资金。此处无法准确预测总成本，但考虑到搜索引擎运营者提供的零星报告，很可能需要数亿欧元。Bing 报告的搜索业务亏损就是一个例子。这或许看起来昂贵得难以承受；但例如，德国政府曾为 Theseus 计划中开发的语义技术投入约 1 亿欧元。尽管如此，任何单一国家都无法独自支持这类项目，这一点仍然很清楚。唯一可行的选择，是一项泛欧洲的倡议。¶

需要解决的不只是资金问题，还必须考虑由谁运营索引。现有的研究机构或新成立的机构，是一种可能。该机构可以运营和维护索引，同时根据产生的数据池开展自己的研究。最重要的是，索引运营者不应获得排他性权利，独自决定文档如何使用或如何开放。相反，一个由索引（潜在）用户组成的理事会，应参与有关文档表征和数据可用性的决策过程。¶

最后，我想重申这类搜索引擎索引的优势。这里描述的索引，将激励公司、机构以及从事个人项目的开发者创建自己的搜索应用。网络上的数据无边无际，可以用于广泛领域中的无数应用。新的搜索引擎索引不仅能使全面性网络搜索引擎得以运行，力图囊括网络上几乎所有内容，也能使覆盖众多主题的专门搜索引擎得以建立。因此，索引不仅对希望运营通用搜索引擎的实体有用，对希望用网络数据补充自身数据的图书馆、博物馆和其他机构也有价值。索引也可用于与搜索完全无关的应用。例如，利用网络数据进行分析，评估公众对某些主题的兴趣，或用户对某些问题的情绪随时间的变化。¶

这样的索引还会使一些我们尚且无法想象的应用成为可能。开放的结构、访问方面的透明度，以及国家资助所保障的长期可用性，将为创新奠定基础，包括那些需要较大投资的创新。这种索引使任何人都能发明新的搜索技术，更重要的是，能够测试这些技术。因此，建立和运营搜索引擎索引，可以被视为政府提供公共基础设施职责的一部分。国家出资修建人人使用的公路，确保所有人都能使用电网，并生成和传播地理数据。开放网络数据，与这些其他公共服务并无不同。¶

参考文献

Bharat, Krishna and Andrei Broder. ‘A Technique For Measuring the Relative Size and Overlap of Public Web Search Engines’, Computer Networks and ISDN Systems 30.1–7 (1998): 379–388.¶

Dominikowski, Thomas. ‘Zur Geschichte der Websuchmaschinen in Deutschland’, in Dirk Lewandowski (ed.), Handbuch Internet-Suchmaschinen 3: Suchmaschinen zwischen Technik und Gesellschaft, Berlin: Akademische Verlagsgesellschaft AKA, 2013, pp. 3–34.¶

Eimeren, Birgit van and Beate Frees. ‘ARD/ZDF-Onlinestudie 2012: 76 Prozent der Deutschen online – neue Nutzungssituationen durch mobile Endgeräte’, Media Perspektiven 7–8 (2012): 362–379.¶

Gulli, Antonio and Alessio Signorini. ‘The Indexable Web is More Than 11.5 Billion Pages’, 14th International Conference on World Wide Web, 2005, pp. 902–903.¶

Lawrence, Steve and C. Lee Giles. ‘Accessibility of Information on the Web’, Nature 400 (8 July 1998): 107–109.¶

_____. ‘Searching the World Wide Web’, Science 280 (3 April 1998): 98–100.¶

Lewandowski, Dirk. ‘Bing macht Milliardenverluste - wie lange wird Microsoft durchhalten?’, Password 11 (2011): 26.¶

_____. ‘Spezialsuchmaschinen’, in Dirk Lewandowski (ed.), Handbuch Internet-Suchmaschinen, Heidelberg: AKA, 2009.¶

_____. ‘Suchmaschinen’, in: Grundlagen der praktischen Information und Dokumentation, 6, Ausgabe. Berlin: De Gruyter, 2013, pp. 495–508.¶

_____. ‘Suchmaschinenindices’, in Dirk Lewandowski (ed.), Handbuch Internet-Suchmaschinen 3: Suchmaschinen zwischen Technik und Gesellschaft, Berlin: Akademische Verlagsgesellschaft AKA, 2013.¶

_____. ‘A Three-Year Study on the Freshness of Web Search Engine Databases’, Journal of Information Science, 34 (2008): 817–831.¶

Lunapark. ‘Suchmaschinen-Marktanteile’, Lunapark, 2013, retrieved from http://www.luna-park.de/blog/1175-suchmaschinen-marktanteile/.¶

Ntoulas, Alexander, Junghoo Cho, and Christopher Olston. ‘What’s New on the Web?: The Evolution of the Web from a Search Engine Perspective’, Proceedings of the 13th International Conference on World Wide Web 2004, pp. 1–12.¶

Purcell, Kristen, Joanna Brenner, and Lee Raine. Search Engine Use 2012, Pew Internet & American Life Project, 2012, http://pewinternet.org/~/media/Files/Reports/2012/PIP_Search_Engine_Use_2012.pdf.¶

Risvik, Knut Magne and Rolfe Michelsen. ‘Search Engines and Web Dynamics’, Computer Networks 39.3 (2002): 289–302.¶

Schmidt, Holger. ‘Googles Marktanteil steigt auf 96 Prozent in Deutschland’, Focus Online, 12 March 2012, http://www.focus.de/digital/internet/netzoekonomie-blog/suchmaschinen-googles-marktanteil-steigt-auf-96-prozent-in-deutschland_aid_723240.html.¶

注释