网站防刷方案

1. 访问网站所涉及环节

简单说就是重复相同的请求

首先看看访问流程所设计的每个环节

1
2
1User -> Browse -> CDN/Proxy Cache -> Web Server -> App Server / fastcgi pool -> Cache -> Database

2

大部分网站都是这样的结构：用户，浏览器，CDN或反向代理，Web服务器，应用服务器，缓存，数据库

这个访问过程中所涉及的设备

1
2
1PC -> ADSL/Cable/Ethernet -> Route -> ... -> Route -> Firewall -> Load Balance -> Switch -> Server

2

我们看看从那些环节可以截获用户的刷新行为

可控制环节

CDN / 反向代理，提供一些基本防护功能，过于简单。

3/4层设备，防火墙/路由器/交换机，主要还是靠防火墙设备，例如Cisco ASA 系列防火墙，都提供IPS/IDS服务（需要单独采购，设备默认没有）主要是针对IP地址的请求频率做出策略控制，

4/7 层负载均衡设备， 一半负载均衡设备都附带此功能。但不是他主要的功能，没有能力购买防火墙设备的中小公司可以使用该功能，7层功能非常强大，但都是通用功能，不一定满足你的个性化需求。

浏览器，这是主要是改变浏览器端设置，利用Cookie变化，Javascript等技术，阻止重复请求

WEB 服务器，在web上通过扩展模块与相应的配置也能达到一定的效果

应用服务器， 主要是通过编写程序在阻止恶意访问。

依次从上至下，越能提前在上一层阻止行为越好，否则就在下一层截获。

2. 浏览器款控制方案

通过 Javascript 防止重复点击提交按钮，通常的做法是将按钮禁用 通过 disabled 属性实现。下面是Jquery例子

1
2
3
4
1$("form").submit(function(){

2  $(":submit",this).attr("disabled","disabled");

3});

4

在上面的例子基础上可以改良，增加计时器，限制一定时间内不可重复提交。

通过 Cookie技术控制重复访问动作

1
2
3
1访问第一个页面 login.example.com/form.ext 的时候设置一个 cookie 变量

2访问第二个页面 login.example.com/auth.ext 的时候判断上一个页面设置的 cookie 是否有效，如果无效拒绝访问。

3

可以进一步增加难度，例如用户注册分为很多步骤，每一个步骤都会设置一个标记，如果用户行为不是安装顺序访问，直接在最后一个页面提交，明显可以判断是非法行为。

这里的方案是针对人工操作，更多的时采用程序实现刷新，采集，爬虫等等。

3. CDN 与 反向代理

CDN 都提供一些基本的防护功能，主要是针对 IP 地址， URL 做一些限制

如果自己做反向代理，控制权更大，可以充分使用操作系统带的包过滤防火墙与代理软件所提供的7层功能

由于很多web server 具备代理服务器功能，配置也相差无几，所有在后面web server 会详细介绍。

4. 网络设备控制方法

每一个网络设备使用方法都不同，这里无法举例，但原理都是相同的。

3/4 层网络设备可以按照IP地址与端口号访问情况做具体限制，如单位时间内允许的访问次数，这种对于大量的攻击比较有效

7层网络设备功能非常强大，就可以根据HTTP头做规则策略，如限制URL的单位时间访问的IP数量，判断 Cookie 等信息，

5. 服务器上做控制

这部分分为，操作系统与web服务器两个部分

5.1. 操作系统部分

操作系统部分，主要是通过linux内核提供的包过滤功能，通常所说的iptables

1
2
3
4
5
6
7
1iptables -A INPUT -p icmp -m limit --limit 3/s -j LOG --log-level INFO --log-prefix "ICMP packet IN: "

2

3iptables -N syn-flood

4iptables -A INPUT -p tcp --syn -j syn-flood

5iptables -I syn-flood -p tcp -m limit --limit 3/s --limit-burst 6 -j RETURN

6iptables -A syn-flood -j REJECT

7

限制源IP的访问数量

1
2
3
1-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 --tcp-flags FIN,SYN,RST,ACK SYN -m connlimit --connlimit-above 50 --connlimit-mask 32 -j REJECT --reject-with icmp-port-unreachable

2-A INPUT -p tcp -m state --state NEW -m tcp --dport 443 --tcp-flags FIN,SYN,RST,ACK SYN -m connlimit --connlimit-above 50 --connlimit-mask 32 -j REJECT --reject-with icmp-port-unreachable

3

关键字，字符串过略

1
2
1iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "XXDD0S" -j DROP

2

以上所讲都是被动方法，需要系统管理一条一条添加规则。

提示

基于IP与端口的方法有明显的不足，经常会误将某些正常的IP地址封锁。

下面通过脚本实现主动防御，通过提取 access.log 文件定位更精准，同时实现了黑/白名单可以将安全IP放置在白名单中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
1#!/bin/bash

2########################################

3# Homepage: http://netkiller.github.io

4# Author: neo <netkiller@msn.com>

5########################################

6PIPE=/tmp/pipe

7pidfile=/tmp/firewall.pid

8

9ACCCESS_LOG=/tmp/access.log

10TIMEPOINT='24/May/2012'

11BLACKLIST=/var/tmp/black.lst

12WHITELIST=/var/tmp/white.lst

13########################################

14

15if [ -z "$( egrep "CentOS|Redhat" /etc/issue)" ]; then

16  echo 'Only for Redhat or CentOS'

17  exit

18fi

19

20if [ ! -f ${BLACKLIST} ]; then

21    touch ${BLACKLIST}

22fi

23

24if [ ! -f ${WHITELIST} ]; then

25    touch ${WHITELIST}

26fi

27

28for deny in $(grep ${TIMEPOINT} ${ACCCESS_LOG} | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 30| awk '{print $2}')

29do

30

31    if [ $(grep -c $deny ${WHITELIST}) -ne 0 ]; then

32        echo 'Allow IP:' $deny

33  iptables -D INPUT -p tcp --dport 443 -s $deny -j DROP

34  iptables -D INPUT -p tcp --dport 80 -s $deny -j DROP

35  continue

36    fi

37

38    if [ $(grep -c $deny ${BLACKLIST}) -eq 0 ] ; then

39

40  echo 'Deny IP:' $deny

41        echo $deny >> ${BLACKLIST}

42        iptables -I INPUT -p tcp --dport 443 -s $deny -j DROP

43        iptables -I INPUT -p tcp --dport 80 -s $deny -j DROP

44    fi

45done

46

相比前面脚本，这个脚本更高级，实现关键字过滤，管道实时处理，这样不回因为日志尺寸变大，影响到脚本的处理性能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
1#!/bin/bash

2########################################

3# Homepage: http://netkiller.github.io

4# Author: neo <netkiller@msn.com>

5########################################

6ACCESSLOG=/www/logs/www.example.com/access.$(date +'%Y-%m-%d').log

7TIMEPOINT='24/May/2012'

8KEYWORD=send.php

9BLACKLIST=/var/tmp/black.lst

10WHITELIST=/var/tmp/white.lst

11PIPE=/var/tmp/pipe

12pidfile=/var/tmp/firewall.pid

13logfile=/var/tmp/firewall.log

14########################################

15if [ -z "$( egrep "CentOS|Redhat" /etc/issue)" ]; then

16  echo 'Only for Redhat or CentOS'

17  exit

18fi

19

20if [ -z $1 ]; then

21    echo "$0 clear|fw|collect|process|close"

22fi

23

24if [ "$1" == "clear" ]; then

25    rm -rf $BLACKLIST

26    rm -rf $PIPE

27    echo "Clear OK!!!"

28fi

29

30if [ "$1" == "close" ]; then

31  killall tail

32    kill `cat $pidfile`

33    echo > $pidfile

34fi

35

36if [ ! -e $PIPE ]; then

37    mkfifo $PIPE

38fi

39

40if [ "$1" == 'fw' ]; then

41    iptables -A OUTPUT -p tcp --dport 2049 -j REJECT

42    iptables -A OUTPUT -p tcp -m multiport --dports 22,21 -j REJECT

43

44  for ipaddr in ${WHITELIST}

45  do

46      if [ $(grep -c $ipaddr ${WHITELIST}) -ne 0 ]; then

47          iptables -A INPUT -p tcp --dport 443 -s $ipaddr -j ACCEPT

48          iptables -A INPUT -p tcp --dport 80 -s $ipaddr -j ACCEPT

49          echo 'Allow IP:' $ipaddr >> $logfile

50      fi

51      if [ $(grep -c $ipaddr ${BLACKLIST}) -eq 0 ] ; then

52          iptables -D INPUT -p tcp --dport 443 -s $ipaddr -j DROP

53          iptables -D INPUT -p tcp --dport 80 -s $ipaddr -j DROP

54          echo 'Deny IP:' $ipaddr

55

56      fi

57  done

58

59fi

60

61if [ "$1" == "collect" ]; then

62    killall tail

63    for (( ; ; ))

64    do

65        tail -f $ACCESSLOG | grep $KEYWORD | cut -d ' ' -f1 > $PIPE

66    done &

67    echo $! > $pidfile

68fi

69

70if [ "$1" == "process" ]; then

71

72  if [ ! -f $BLACKLIST ]; then

73      touch $BLACKLIST

74  fi

75

76  if [ ! -f ${WHITELIST} ]; then

77      touch ${WHITELIST}

78  fi

79

80  for (( ; ; ))

81  do

82      while read ipaddr

83      do

84          if [ $(grep -c $ipaddr ${WHITELIST}) -ne 0 ]; then

85              echo 'Allow IP:' $ipaddr >> $logfile

86              continue

87          fi

88

89          grep $ipaddr ${BLACKLIST}

90          if [ $? -eq 1 ] ; then

91              echo $ipaddr >> ${BLACKLIST}

92              iptables -I INPUT -p tcp --dport 80 -s $ipaddr -j DROP

93              echo "Deny IP: $ipaddr" >> $logfile

94          fi

95      done < $PIPE

96  done &

97  echo $! >> $pidfile

98fi

99

5.2. WEB 服务器部分

下面所讲技术，适用于反向代理，负载均衡，web服务器

Web 服务器也可以实现前面所说的防火墙等设备3/4层的功能，同时具备七层功能，很多负载均衡设备7层采用web服务器实现，例如 F5 7层的高级功能是由 Apache httpd 来完成（apache 是经过二次开发的）， 所以7层的部门我们主要在这里深入讨论

如果你有防火墙设备应该首先考虑在防火墙端做控制，如果没有防火墙那麽就考虑在负载均衡设备中做控制，这些设备你都没有，最后考虑在反向代理中处理，最后考虑web服务器。

限制IP地址在这里可以做到更细腻的控制，例如实现某个目录的，某URL的IP访问策略。请自行查找手册或参考《Netkiller Web 手札》

HTTP 协议头

我们要做以下几种限制

限制 http_referer， 常说的防盗链。

限制 http_user_agent， 主要是防爬虫

限制 request_method， 不是所有页面都允许 POST

限制 http_cookie， 没有携带正确的 cookie 不允许访问

上面7层访问控制还是比较粗糙的，主要是给应用程序减压，更细腻的控制需要通过程序手段，实现更智能判断。 不过同上上面的层层限制，已经足矣改善你的状况，如果还是无效继续往下看。

1
2
3
4
5
6
1valid_referers none blocked *.example.com example.com;

2if ($invalid_referer) {

3   #rewrite ^(.*)$  http://www.example.com/cn/$1;

4   return 403;

5}

6

1
2
3
4
1if ($http_user_agent = "") { 

2   return 403; 

3}

4

6. 通过程序控制访问行为

设计应用防火墙，将所有资源纳入管理范围

IP地址，上面已经反复强调怎样封锁IP地址，但都过于粗糙，很多时候是一刀切。在程序中实现禁止IP访问，更灵活

我们要做以下几种限制

单位时间内访问次数

访问时间间隔设置

封锁时间设置

黑白名单

验证码，最常用的，最有效的方法，分为图片扭曲法，问提/答案 法，手机验证码，语音验证码等等方法，形式多重多样

http_referer， 虽然上面已经做了 http_referer 限制，但是web 服务器只能做粗糙限制，允许 *.example.com 域进行访问，但我需要更精确的控制。例如：

1
2
1www.example.com (此时 http_referer 为空，或者其他，这不重要) -> login.example.com (http_referer: www.example.com)-> login.example.com/auth.ext (http_referer: login.example.com) -> login.example.com/secussed.ext (http_referer: login.example.com/auth.ext)

2

看明白了吗 http_referer 每次都是上一个页面，我们程序中判断，如果上一个页面不是我们所指定的，或者不再允许列表内，就拒绝访问

request_method

1
2
1www.example.com (GET) -> login.example.com (GET)-> login.example.com/auth.ext (POST) -> login.example.com/secussed.ext (GET)

2

同理，在不允许的页面POST操作，将立即拒绝

http_cookie

1
2
1www.example.com (cookie 1) -> login.example.com (cookie 2)-> login.example.com/auth.ext (cookie 3) -> login.example.com/secussed.ext (cookie 4)

2

没有按照指定流程访问，cookie 值不会变化，属于异常行为
cookie + redis 间隔时间

提示

上面所有的操作都将计入日志，通过脚本可以将异常访问行文达到一定次数后，放入iptables DROP链中。

7. 总结

上面提方法单一使用过于简单，需要组合使用，同时经常调整组合方式才能更有效阻止各种良性与恶性网站访问行为。