Nginx做前端Proxy时TIME_WAIT过多的问题

释放双眼,带上耳机,听听看~!

我们的DSP系统目前基本非凌晨时段的QPS都在10W以上,我们使用Golang来处理这些HTTP请求,Web服务器的前端用Nginx来做负载均衡,通过Nginx的proxy_pass来与Golang交互。

由于nginx代理使用了短链接的方式和后端交互的原因,使得系统TIME_WAIT的tcp连接很多:


1
2
3
4
5
6
7
1shell> netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'
2TIME_WAIT 250263
3CLOSE_WAIT 57
4FIN_WAIT2 3
5ESTABLISHED 2463
6SYN_RECV 8
7

ss 比 netstat 要快,所以也可以用下面的命令来查看:


1
2
1shell> ss -ant | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}'
2

这会占用系统过多的端口,还浪费了系统资源,所以我们必须想办法减少TIME_WAIT。

TIME_WAIT导致占用过多端口的一个影响是会占用我们需要使用到的端口,例如我们有个服务监听的端口为8012,重启的时候经常会提示端口被占用。
通过查看/proc/sys/net/ipv4/ip_local_port_range可以知道设置的Linux内核自动分配端口的端口范围:


1
2
3
1shell> cat /proc/sys/net/ipv4/ip_local_port_range
21025 65535
3

对于这个设置系统就会从1025~65535这个范围内随机分配端口来用于连接,而我们服务的8012端口刚好在这个范围之内,所以如果8012刚好被系统分配出去使用了,则启动我们服务的时候,就会提示端口被占用。

所以我们需要设置/proc/sys/net/ipv4/ip_local_reserved_ports来告诉系统给我们预留哪些端口,不可以用于自动分配。


1
2
3
4
5
1shell> vim /etc/sysctl.conf
2net.ipv4.ip_local_reserved_ports = 8012,11211-11220
3
4shell> sysctl -p
5

关于预留端口的更具体信息可以参考:

  • 网络端口预留
  • 预留端口避免占用ip_local_reserved_ports

上面我们解决了端口占用问题,但是我们还是需要解决TIME_WAIT过多的问题。
Nginx 1.1以上版本的upstream已经支持keep-alive的,所以我们可以开启Nginx proxy的keep-alive来减少tcp连接:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
1upstream http_backend {
2    server 127.0.0.1:8080;
3
4    keepalive 16;
5}
6
7server {
8    ...
9
10    location /http/ {
11        proxy_pass http://http_backend;
12        proxy_http_version 1.1;
13        proxy_set_header Connection "";
14        ...
15    }
16}
17

可以参加Nginx的官方文档: http://nginx.org/cn/docs/http/ngx_http_upstream_module.html\#keepalive

开了keep-alive之后,TIME_WAIT明显减少:


1
2
3
4
5
6
7
8
1shell> netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'
2TIME_WAIT 12612
3CLOSE_WAIT 11
4FIN_WAIT1 4
5FIN_WAIT2 1
6ESTABLISHED 7667
7SYN_RECV 3
8

另外不少文章提到可以修改系统的/etc/sysctl.conf配置来减少TIME_WAIT的tcp连接:

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

参见: http://blog.s135.com/post/271/

不过开启
tcp_tw_recycle可能会带来一些不稳定的网络问题,请参考:

  • 记一次TIME_WAIT网络故障
  • 再叙TIME_WAIT

关于sysctl相关配置的说明,请参考:
https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt

给TA打赏
共{{data.count}}人
人已打赏
安全运维

WordPress网站专用docker容器环境带Waf

2020-7-18 20:04:44

安全运维

运维安全-Gitlab管理员权限安全思考

2021-9-19 9:16:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索