蜘蛛网络爬虫的定义

一、网页蜘蛛的定义

网页蜘蛛（又被称为网络爬虫，网络机器人）是一种依照一定的规则，主动地爬行抓取互联网信息的程序或脚本。

通俗解说：互联网类似于蜘蛛网，网络爬虫在其间不断的爬行抓取，就像是蜘蛛经过蛛网进行捕食，每逢发现新的资源蜘蛛当即出动并对其进行抓取并将抓取到的内容存入数据库。

二、网络爬虫的技能概述

网络爬虫协助查找引擎从万维网上下载网页，是一个主动提取网页信息的程序，因而网络爬虫也是查找引擎的重要组成部分。已知的网络爬虫分为传统爬虫和聚集爬虫。

传统爬虫：就像蜘蛛在蛛网上爬行，网页的URL就类似于彼此相关的蛛网，网页蜘蛛从一些初始网页的URL开端，获得初始网页上的URL，在爬虫抓取网页的过程中，又不断从爬取到的页面上从头抽取新的URL放入预抓取行列,如此重复，直到满足系统的中止条件，终究中止抓取。

聚集爬虫：聚集爬虫的作业流程较传统爬虫更为复杂，它依据网页剖析算法过滤与初始抓取主题无关的URL，保留有用的链接放入预抓取行列，如此重复，直到达到系统的某一条件时中止。

三、为什么要有“蜘蛛”

随着网络的迅速发展，互联网成为许多信息的载体，怎么有效地提取并利用这些信息成为一个巨大的挑战。作为协助用户拜访互联网的入口和指南，查找引擎也存在着许多局限性。

1、通用查找引擎的目标是将网络掩盖率尽可能做到最大化，因而有限的查找引擎服务器资源与无限的网络信息资源之间发生了巨大的对立。

2、通用查找引擎所回来的结果过于宽泛，其间包括许多与用户查找目的不相关的网页。

3、互联网数据方式和网络技能的不断发展，图片、音频、视频等多种多媒体数据许多涌出，通用查找引擎对这类信息不能很好的发现和获取。

4、通用查找引擎依据关键字查找，不支持依据语义查询。

以上问题的呈现也促使了定向抓取相关网页资源的聚集爬虫的呈现。聚集爬虫能够主动下载网页，它依据既定的抓取目标，有挑选的拜访互联网上的网页与相关的链接，从中搜集需要的信息。与通用爬虫不同，聚集爬虫并不追求大的掩盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询预备数据资源。

了解查找引擎的作业原理关于网站SEO优化起着重要的效果，许多的SEO技巧都是依据查找引擎的作业原理而发生，因而关于查找引擎作业原理的解读是SEO作业者的重要基本功。

获取web页面。每个独立的查找引擎都有自己的网络爬虫程序（Spider）。爬虫沿着网页中的超链接从这个网站爬到另个网站，并剖析经过超链接剖析获取更多网页的接连拜访。捕获的web页面称为web快照。由于超链接在Internet中的使用十分遍及，理论上，从定范围的web页面开端，我们可以搜集绝大多数的web页面。

处理web页面。捕获网页后，查找引擎还需要做许多的预处理作业来供给检索服务。其间重要的是提取关键字，树立索引库和索引。其他包括删除重复的网页、分词（中文）、断定网页类型、剖析超链接、计算网页的重要性和丰厚度等。

供给检索服务。用户输入检索的关键字，查找引擎找到与索引数据库中关键字匹配的web页面。为了便于用户判断，除了页面标题和URL之外，还将供给web页面的摘要和其他信息。查找引擎的主动信息搜集功用提交网站查找。站长主动将网站提交给查找引擎。它会在守时间内将爬虫发送到您的网站，扫描您的网站并将信息存储到数据库中以供用户使用。由于查找引擎索引规则发生了很大变化相关于过去，主动提交的网站并不确保你的网站能进入查找引擎数据库，所以站长应加大网站的内容，让查找引擎有更多机会找到你并主动搜集你的网站。

当用户用关键词查找信息时，查找引擎将在数据库中查找。假如你找到个网站，契合用户要求的内容，个特别的算法--一般依据网页中关键词的匹配程度，位置、频率，链接质量，等等--计算网页的相关性和排名。然后，依据相关程度，将这些链接依次回来给用户。