蜘蛛又称网络爬虫,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百度蜘蛛工作原理蜘蛛是网站与用户之间的信息搬运工,抓取网站内容,通过索引库呈现给用户。
电影《蜘蛛侠2(Spider-Man 2)》剧照你或许曾在《蜘蛛侠》电影中惊叹于彼得·帕克射出的神奇蛛丝——它能拉起失控的列车,编织成比钢铁更坚韧的防护网,甚至让超级英雄在城市天际线间自由摆荡。在自然界,蜘蛛绝对是一位低调的“材料大师”。