什么是搜索引擎蜘蛛

　　搜索引擎蜘蛛是指：网络爬虫。网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。每个搜索引擎都有自己的蜘蛛，搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

 

　　什么是搜索引擎蜘蛛？

 

　　搜索引擎蜘蛛简称网络爬虫(webcrawler)，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

 

　　我们可以将互联网理解成一张巨大的“蜘蛛网”，而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网（互联网）中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，然后建立索引库。就好比机器人浏览我们的网站，然后把内容保存到自己的电脑上。

 

　　每个搜索引擎都有自己的蜘蛛，搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

 

　　国内各大搜索引擎蜘蛛名称：

 

　　百度：百度spider

 

　　谷歌：googlebot

 

　　搜狗：sogouspider

 

　　搜搜：Sosospider

 

　　360搜索：360Spider

 

　　有道：YodaoBot

 

　　雅虎：YahooSlurp

 

　　必应：msnbot

 

　　Msn:msnbot