主题搜索引擎工作原理
搜索引擎的基本工作原理包括以下三个过程：首先在互联网上找到和收集网络信息；提取和组织建立索引库；然后根据用户输入的查询关键字，快速检测索引库中的文档，评估文档和查询的相关性，对即将输出的结果进行排序，并将查询结果返回给用户
1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider沿着网页中的超链接从这个网站爬到另一个网站，通过超链接分析连续访问捕获更多网页。被捕获的网页被称为网页快照。由于互联网中超链接的广泛应用，理论上可以从一定范围的网页收集到绝大多数网页。
2、处理网页。搜索引擎抓取网页后，为了提供检索服务，需要做大量的预处理工作。其中，最重要的是提取关键字，建立索引库和索引。其他包括删除重复网页、分词（中文）、判断网页类型，分析超链接，计算网页的重要性/丰富度等。
3、提供搜索服务。用户输入关键字进行搜索，搜索引擎从索引数据库中找到匹配关键字的网页；为了方便用户判断，除了网页标题和URL外，还将提供网页摘要和其他信息
0