ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法

作者 : OO资源中心 发布时间: 2020-07-30 文章热度:141 共1501个字,阅读需4分钟。 本文内容有更新 字体:

目 录

今日网站出现大量的 AhrefsBot访问,其useragent为"Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"。

ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法-OO.INK资源网

 

AhrefsBot是什么

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。
简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,有luan用。
详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot

该网站是一个国外的但是有中文版,打开中文版显示如上图。其介绍为“增加您的搜索流量的工具,研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高,以及你需要采取什么行动来超越他们。” 所以应该明白他是做什么的了吧。如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为:

AhrefsBot的IP段

通过对一天的网站日志进行分析,你们猜猜一共有多少个不同的AhrefsBot蜘蛛ip来抓取网站数据?
ahrefs.com/robot
54.36.150.145
54.36.150.133
54.36.150.111
54.36.150.87
54.36.150.75
54.36.150.49
54.36.150.36
54.36.150.22
54.36.150.27

54.36.150.92
54.36.149.106
54.36.148.228
54.36.148.212
54.36.148.176
54.36.148.179
54.36.148.163
54.36.148.155
54.36.148.128
54.36.148.105
54.36.148.59
54.36.148.56
54.36.148.60
54.36.148.30
54.36.148.15
54.36.149.76

官方公布的AhrefsBot爬虫IP段如下:

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服务器用的阿里云,阿里云后台有安全组可以使用,所以直接屏蔽AhrefsBot的IP段,是最简单粗暴,效果立竿见影的方法。

ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法-OO.INK资源网

按照上图的方法配置,把下面这些ip段全部添加进去就行了。

宝塔面板封AhrefsBot IP段

1、宝塔面板 => 安全 => 防火墙 => 屏蔽IP端

ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法-OO.INK资源网

2、宝塔面板可用Nginx/Apache防火墙 => 全局配置 => IP黑名单

ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法-OO.INK资源网

使用robots.txt封禁

通常来说,只要是遵循robots规则的蜘蛛或者爬虫,都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则,不过实际上是如果你不是一开始就添加了这个规则,你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

所以暴力点,直接封IP比较快。如果要添加,规则如下:

User-agent: AhrefsBot

Disallow: /

 

相关推荐: 百度站长平台新增快速收录功能 同时继承熊掌ID权益

近日,站长平台新增快速收录功能,可以快速收录网页,同时继承熊掌ID权益。快速收录可用于提交站点新增的时效性资源进搜索,收录时间约 48 小时。 公告显示,当前仍处于绑定状态的移动端页面及移动端自适应站点,PC端页面想要快速收录,可以将网页升级为自适应页面。用户…


关注微信公众号『OOINK』

第一时间了解最新资源动态关注OO.INK不迷路~

常见问题FAQ

免费下载或者VIP会员专享资源能否直接商用?
本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
下载资源需要解压密码,解压密码是什么?
如下载的资源需要解压密码,请查看下载页右侧查找解压密码;
如没有解压密码请尝试默认解压密码:www.oo.ink 或者 oo.ink
或者联系我们获取解压密码!
1、本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2、分享目的仅供大家学习和交流,请不要用于商业用途!
3、本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
4、如有链接无法下载、失效或广告,请联系管理员处理!
5、本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!

OO.INK资源网 » ahrefs.com/robot垃圾蜘蛛AhrefsBot封禁方法
+已在风雨中度过
为兴趣而改变,为梦想而努力!
+已坚持更新
时时更新,确保最新~

开通SVIP,畅享全站资源下载~

立即了解