首页
站长论坛BBS
救助
投稿
discuz视频教程
discuz技术支持
版块
登录
快速注册

只需两步,正确识别百度蜘蛛

建站高手 2017-6-7 [百度官方说明] 来自PC 复制链接
123140
discuz使用视频教程
31idc

马上注册,一起探讨正确快速的建站方法

您需要 登录 才可以下载或查看,没有帐号?快速注册

x
经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
1.jpg
2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

点评

海!外直播 t.cn/RxmJTrC 禁闻视频 t.cn/Rxlbuea 有的人,他们从来不进市场购物,却在研究着你的物价。有的人,他们从来不要买房,却在研究着你的房价。有的人,儿孙都在美国,却在研究着你该如何爱国...  发表于 4 天前



上一篇:不常见的后缀域名可能会出现搜索收录延迟
downun 发表于 2017-6-21 11:03:04 来自PC
学习了哦
Monxin商城系统 发表于 2017-6-23 17:08:16 来自PC
顶一下   1.JPG
q317212461 发表于 2017-7-1 17:23:41 来自PC
很给力,希望分享更多给力的帖子啊。
[url=http://www.alihuixuan.com]九块九包邮[/url]
fghy 发表于 2017-7-15 13:57:41 来自PC
学习了
calmrelic 发表于 2017-7-18 16:02:59 来自PC
非常好的分享,谢谢楼主。
[url=http://www.jlsy
tsc3396455731 发表于 2017-7-21 13:46:54 来自PC
谢谢分享  http://www.hxstlhh.com/
<a  target="_blank">河北地质大学华信学院 社团联合会</a>
www.hxstlhh.com
tsc3396455731 发表于 2017-7-21 13:47:33 来自PC
本帖最后由 tsc3396455731 于 2017-7-21 13:49 编辑

111111
www.hxstlhh.com
fyj1818 发表于 3 天前 来自PC
百度要是一直不收,该怎么办了
www.foreeca.com
hdt 发表于 3 天前 来自PC
多谢楼主分享,学习了
http://www.shhssz.ne
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

快速回复 返回顶部 返回列表