修改配置nginx，限制无良爬虫频率

1
2
3
4
5
6
7
8
9
1#全局配置

2limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

3

4#某个server中

5 limit_req zone=anti_spider burst=30 nodelay;

6 if ($http_user_agent ~* "xxspider|xxbot") {

7 set $anti_spider $http_user_agent;

8}

9

超过设置的限定频率，就会给spider一个503。上述配置详细解释请自行google下，具体的spider/bot名称请自定义。