活动:一次性充值满500元,云服务器、虚拟主机产品8折特惠! 全国免费咨询热线:℡ 400-9918-136
帮助和公告

感谢您的关注,我们一直致力于为您提供放心、满意的服务。

优惠活动香港云服务器,免备案在线开通,预装宝塔(bt)面板,独享7M带宽,赠送DDOS防护,免费技术支持,代理低至6折,仅需58.8元/月!
返回首页

判断搜索引擎真假蜘蛛访问

信息来源:亿速互联修改时间:2021/8/6 17:02:18

主流搜索引擎蜘蛛抓取网站,都会自带UA特征,比如百度蜘蛛UA(Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在网站的访问日志中也会相应记录,但UA是可以伪造的,目前越来越多伪造UA的扫描器或采集器都在伪造搜索引擎UA来迷惑管理员,造成无法判断是否是正规搜索引擎蜘蛛。

我们在不知道蜘蛛IP段的情况下,可以通过运行命令:nslookup 来判断真假蜘蛛。

首先以百度蜘蛛为例,在访问日志中找到带有UA记录的IP,如:220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ,运行后结果中带有: baiduspider-220-181-108-*.crawl.baidu.com 字样,说明是真百度蜘蛛,反之如果没有则为假。

以下为最近更新的内容