Skip to main content
 当前位置:seo培训 > seo教程 >

网站robots如何封禁垃圾蜘蛛AhrefsBot

2020-12-30 15:40:571382SEOer
网站robots如何封禁垃圾蜘蛛AhrefsBot
 
  AhrefsBot是什么
 
  AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。
 
  简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,有luan用。
 
  详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot
 
  该网站是一个国外的但是有中文版,打开中文版显示如上图。其介绍为“增加您的搜索流量的工具,研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高,以及你需要采取什么行动来超越他们。”  所以应该明白他是做什么的了吧。如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为:
 
  官方公布的AhrefsBot爬虫IP段如下:
 
  54.36.148.0/24
 
  54.36.149.0/24
 
  54.36.150.0/24
 
  195.154.122.0/24
 
  195.154.123.0/24
 
  195.154.126.0/24
 
  195.154.127.0/24
 
  直接封AhrefsBot ip段
 
  被AhrefsBot蜘蛛爬取的站服务器用的阿里云,阿里云后台有安全组可以使用,所以直接屏蔽AhrefsBot的IP段,是最简单粗暴,效果立竿见影的方法。
 
  进入阿里云后台,进入你的服务器列表,点击服务器的安全组,配置安全组规则。
 
  按照上图的方法配置,把下面这些ip段全部添加进去就行了。
 
  使用robots.txt封禁
 
  通常来说,只要是遵循robots规则的蜘蛛或者爬虫,都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则,不过实际上是如果你不是一开始就添加了这个规则,你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。
 
  所以暴力点,直接封IP比较快。如果要添加,规则如下:
 
  User-agent: AhrefsBot
 
  Disallow: /
 
  AhrefsBot的IP段
 
  通过对一天的网站日志进行分析,你们猜猜一共有多少个不同的AhrefsBot蜘蛛ip来抓取网站数据?
 
  ahrefs.com/robot
 
  54.36.150.145
 
  54.36.150.133
 
  54.36.150.111
 
  54.36.150.87
 
  54.36.150.75
 
  54.36.150.49
 
  54.36.150.36
 
  54.36.150.22
 
  54.36.150.27
 
  54.36.150.109
 
  54.36.150.92
 
  54.36.149.106
 
  54.36.148.228
 
  54.36.148.212
 
  54.36.148.176
 
  54.36.148.179
 
  54.36.148.163
 
  54.36.148.155
 
  54.36.148.128
 
  54.36.148.105
 
  54.36.148.59
 
  54.36.148.56
 
  54.36.148.60
 
  54.36.148.30
 
  54.36.148.15
 
  54.36.149.76
 
  54.36.148.180
 
  54.36.150.103
 
  54.36.148.44
 
  54.36.150.93
 
  54.36.150.30
 
  54.36.148.221
 
  54.36.150.139
 
  54.36.148.196
 
  54.36.150.166
 
  54.36.149.58
 
  54.36.150.143
 
  54.36.150.168
 
  54.36.148.238
 
  54.36.150.72
 
  54.36.149.93
 
  54.36.148.37
 
  54.36.148.124
 
  54.36.148.40
 
  54.36.150.140
 
  54.36.149.89
 
  54.36.149.103
 
  54.36.149.45
 
  54.36.150.79
 
  54.36.150.183
 
  54.36.148.175
 
  54.36.149.33
 
  54.36.149.28
 
  54.36.149.72
 
  54.36.148.26
 
  54.36.148.195
 
  54.36.149.76
 
  54.36.150.101
 
  54.36.148.2
 
  54.36.150.84
 
  54.36.150.136
 
  54.36.149.23
 
  54.36.150.8
 
  54.36.148.76
 
  54.36.149.61
 
  54.36.150.149
 
  54.36.150.97
 
  54.36.150.15
 
  54.36.150.165
 
  54.36.148.160
 
  54.36.150.119
 
  54.36.148.3
 
  54.36.150.121
 
  54.36.148.57
 
  54.36.150.34
 
  54.36.150.70
 
  54.36.150.116
 
  54.36.148.77
 
  54.36.150.177
 
  54.36.150.65
 
  54.36.149.66
 
  54.36.150.19
 
  54.36.148.242
 
  54.36.150.68
 
  54.36.149.11
 
  54.36.148.136
 
  54.36.149.2
 
  54.36.148.73
 
  54.36.148.147
 
  54.36.150.146
 
  54.36.148.75
 
  54.36.150.173
 
  54.36.150.176
 
  54.36.150.110
 
  54.36.150.20
 
  54.36.150.74
 
  54.36.149.59
 
  54.36.150.95
 
  54.36.150.54
 
  54.36.150.126
 
  54.36.148.145
 
  54.36.148.130
 
  54.36.149.104
 
  54.36.148.108
 
  54.36.150.67
 
  54.36.150.159
 
  54.36.150.86
 
  54.36.148.84
 
  54.36.148.248
 
  54.36.149.60
 
  54.36.149.6
 
  54.36.150.58
 
  54.36.150.78
 
  54.36.148.153
 
  54.36.148.237
 
  54.36.150.118
 
  54.36.148.152
 
  54.36.148.123
 
  54.36.150.150
 
  54.36.148.46
 
  54.36.150.117
 
  54.36.150.56
 
  54.36.148.33
 
  54.36.148.86
 
  54.36.150.32
 
  54.36.150.164
 
  54.36.150.61
 
  54.36.148.89
 
  54.36.148.200
 
  54.36.150.35
 
  54.36.149.7
 
  151.80.39.219
 
  151.80.39.219
 
  151.80.39.228
 
  151.80.39.56
 
  151.80.39.69
 
  151.80.39.64
 
  151.80.39.82
 
  5.196.87.123
    TAG标签: