1. 首页
  2. 行业资讯

站长怎么通过代码识别百度蜘蛛

多个蜘蛛爬网一个站点会增加服务器负担。为了提高可访问性,中国的网站可以识别并允许仅来自中国最大搜索引擎百度的蜘蛛,并阻止来自较小搜索引擎的蜘蛛。这是识别百度蜘蛛的2个简单步骤。

站长代码识别百度蜘蛛的方法

步骤1:检查用户代理

如果蜘蛛的用户代理不在下面的列表中,则它不是来自百度的蜘蛛。百度蜘蛛的UA分为三类:移动,桌面和应用程序。

站长代码识别百度蜘蛛的方法
站长代码识别百度蜘蛛的方法

百度移动UA

Mozilla / 5.0(Linux; u; Android 4.2.2; zh-cn;)AppleWebKit / 534.46(KHTML,如Gecko)版本/5.1 Mobile Safari / 10600.6.3(兼容; Baiduspider / 2.0; + http:// www。 baidu.com/search/spider.html)

要么

Mozilla / 5.0(iPhone; CPU iPhone OS 9_1,如Mac OS X)AppleWebKit / 601.1.46(KHTML,如Gecko)版本/9.0 Mobile / 13B143 Safari / 601.1(兼容; Baiduspider-render / 2.0; + http:// www .baidu.com / search / spider.html)

百度桌面UA

Mozilla / 5.0(兼容; Baiduspider / 2.0; + http://www.baidu.com/search/spider.html)

要么

Mozilla / 5.0(兼容; Baiduspider-render / 2.0; + http://www.baidu.com/search/spider.html)

百度应用UA

Mozilla / 5.0(iPhone; CPU iPhone OS 9_1如Mac OS X)AppleWebKit / 601.1.46(KHTML如Gecko)版本/9.0 Mobile / 13B143 Safari / 601.1(兼容; Baiduspider-render / 2.0; Smartapp; + http:/ /www.baidu.com/search/spider.html)

步骤2:反向查询IP

网站管理员可以通过反向查找其IP来确定蜘蛛是否来自百度。如何反向查找IP取决于您的操作系统。

原创文章,作者:晴天SEO,如若转载,请注明出处:http://www.time2009.net.cn/hyzx/143.html