首页
站长论坛BBS
救助
投稿
discuz视频教程
discuz技术支持
版块
登录
快速注册

只需两步,正确识别百度蜘蛛

建站高手 2017-6-7 [百度官方说明] 来自PC 复制链接
249674
discuz使用视频教程
31idc

马上注册,一起探讨正确快速的建站方法

您需要 登录 才可以下载或查看,没有帐号?快速注册

x
经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
1.jpg
2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。



上一篇:不常见的后缀域名可能会出现搜索收录延迟
downun 发表于 2017-6-21 11:03:04 来自PC
学习了哦
Monxin商城系统 发表于 2017-6-23 17:08:16 来自PC
顶一下   1.JPG
q317212461 发表于 2017-7-1 17:23:41 来自PC
很给力,希望分享更多给力的帖子啊。
[url=http://www.alihuixuan.com]九块九包邮[/url]
fghy 发表于 2017-7-15 13:57:41 来自PC
学习了
calmrelic 发表于 2017-7-18 16:02:59 来自PC
非常好的分享,谢谢楼主。
[url=http://www.jlsy
tsc3396455731 发表于 2017-7-21 13:46:54 来自PC
谢谢分享  http://www.hxstlhh.com/
<a  target="_blank">河北地质大学华信学院 社团联合会</a>
www.hxstlhh.com
tsc3396455731 发表于 2017-7-21 13:47:33 来自PC
本帖最后由 tsc3396455731 于 2017-7-21 13:49 编辑

111111
www.hxstlhh.com
fyj1818 发表于 2017-7-26 10:10:44 来自PC
百度要是一直不收,该怎么办了
www.foreeca.com
hdt 发表于 2017-7-26 10:52:41 来自PC
多谢楼主分享,学习了
http://www.shhssz.ne
772233400 发表于 2017-8-4 18:47:39 来自PC
很给力,希望分享更多给力的帖子啊。
fyj1818 发表于 2017-8-7 09:52:40 来自PC
好专业,不会搞啊
www.foreeca.com
中安房 发表于 2017-8-8 14:54:41 来自PC
谢谢分享,涨姿势了,楼主能帮忙看看我们网站还存在哪些问题吗?http://www.zaf.cc/
http://www.zaf.cc
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

快速回复 返回顶部 返回列表