百度蜘蛛会派出许多个小程序对互联网上的网页进行访问,这些小程序被站长亲切的称为百度蜘蛛,一般的百度蜘蛛访问网站都会在网站留下痕迹,在网站的日志中可以查询的到,例如下图中的百度baiduspider,就是典型的百度蜘蛛。
当然百度的蜘蛛有很多种,常见的有:
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
除了以上的几种外,百度还会派出匿名蜘蛛模仿成用户的形态访问网站。这样做的目的是为了防止网站优化过程中作弊,百度通过对比匿名蜘蛛与正常蜘蛛访问的页面情况,如果差异很大,那就表明网站存在欺骗搜索引擎的行为。那么对于这些蜘蛛我们该如何识别:
方案一:
据统计,百度的蜘蛛的IP是有规律的,电信ip段(220.181.108.*)、网通ip段(123.125.71.*),通过ip可以初步的判断下。
方案二:
利用程序识别百度的匿名蜘蛛,操作方法
1、win+r,调出cmd;
2、在命令框内输入nslookup IP查询,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充,