共计 446 个字符,预计需要花费 2 分钟才能阅读完成。
什么是搜索引擎蜘蛛?
搜索引擎蜘蛛简称网络爬虫 (webcrawler),网络爬虫 (又被称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。
我们可以将互联网理解成一张巨大的“蜘蛛网”,而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网(互联网)中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,然后建立索引库。就好比机器人浏览我们的网站,然后把内容保存到自己的电脑上。
每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎 robot。
国内各大搜索引擎蜘蛛名称:
百度:百度 spider
谷歌:googlebot
搜狗:sogou spider
搜搜:Sosospider
360 搜索:360Spider
有道:YodaoBot
雅虎:Yahoo Slurp
必应:msnbot
Msn:msnbot
以上就是什么是搜索引擎蜘蛛的详细内容,更多请关注王尘宇博客其它相关文章!
丸趣 TV 网 – 提供最优质的资源集合!
正文完