最近由于项目需要使用一款高性能高并发的java网络编程框架,所以选择了netty正好借此机会来学习netty并记录一下
一、Netty介绍
- Netty是由JBOSS提供的一个java开源框架, Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。
- Netty是一个NIO客户端服务端框架,它使得快速而简单的开发像服务端客户端协议的网络应用成为了可能。它极大的简化并流 线化了如TCP和UDP套接字服务器开发的网络编程。“快速且简便”不意味着目标应用将容忍维护性和性能上的问题。Netty在吸取了大量协议实现(如FTP,SMTP,HTTP以及各种二进制,基于文本的传统协议)的经验上进行了精心的设计。由此,Netty成功找到了一个无需折衷妥协而让开发、性能、稳定性和灵活性相互协调的方法。
二、介绍几个概念
- ChannelEvent:Netty是基于事件驱动的,就是我们上文提到的,发生什么事,就通知"有关部门"。所以,不难理解,
我们自己的业务代码中,一定有跟这些事件相关的处理。
- ChannelPipeline:用于保存处理过程需要用到的ChannelHandler和ChannelHandlerContext。Pipeline,翻译成中文的意思是:管道,传输途径。也就是说,在这里他是控制ChannelEvent事件分发和传递的。 事件在管道中流转,第一站到哪,第二站到哪,到哪是终点,就是用这个ChannelPipeline 处理的。比如:开发事件。 先给A设计,然后给B开发。一个流转图,希望能给你更直观的感觉。
- ChannelHandler:刚说Pipeline负责把事件分发到相应的站点,那个这个站点在Netty里,就是指ChannelHandler。 事件到了ChannelHandler这里,就要被具体的进行处理了,我们的样例代码里,实现的就是这样一个处理事件的“站点”,也就是说,你自己的业务逻辑一般都是从这里开始的。
- Channel:有了个部门的协调处理,我们还需要一个从整体把握形势的,所谓“大局观”的部门channel。channel,能够告诉你当前通道的状态,是连同还是关闭。获取通道相关的配置信息。得到Pipeline等。是一些全局的信息。Channel自然是由ChannelFactory产生的。Channel的实现类型,决定了你这个通道是同步的还是异步的(nio)。例如,我们样例里用的是NioServerSocketChannel
- ChannelHandlerContext,用于传输业务数据它起到了一个桥梁的作用,它可以方便的为ChannelHandler传递数据到位于同一ChannelPipeline前面或者后面的ChannelHander,同时它也可以为当前ChannelHandler存储有状态的信息。
三、Netty的jar包下载
netty版本大致版本分为 netty3.x 和 netty4.x、netty5.x。5.x版本在后来被官方取消什么原因这里不多说总之用已成熟的版本绝对没问题。这里我们使用netty4.x版本。需要下载相应的jar包导入项目。jar包可以从Netty官网:http://netty.io/downloads.html 下载
下载之后解压缩。大家可以看到这样一个目录结构。非常的清晰。
第一个文件夹jar是jar包的文件夹。第二个javadoc是API文档。第三个license文件夹是开源的授权文件(可以直接无视)。
javadoc文件夹下面是一个jar包。可以直接解压缩出来。解压缩之后的文件夹就是api文档(以网页的形势展现)。
jar文件夹里面有很多的jar包和一个all-in-one文件夹。都是Netty框架的组成部分。all-in-one里面有两个文件一个是jar包,另一个是对应的source源代码包。这样做的目的是为了给程序员有选择的添加自己所需要的包。
假如读者是初学者的话。推荐直接套用all-in-one里面的jar包。假如你熟悉Netty的话可以根据自己的项目需求添加不同的jar包。
四、Netty服务端及客户端的实现
Server.java:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123 1package com.li.nettyServer;
2
3import com.li.nettyBusiness.DiscardServerHandler;
4
5import io.netty.bootstrap.ServerBootstrap;
6import io.netty.channel.ChannelFuture;
7import io.netty.channel.ChannelInitializer;
8import io.netty.channel.ChannelOption;
9import io.netty.channel.ChannelPipeline;
10import io.netty.channel.nio.NioEventLoopGroup;
11import io.netty.channel.socket.SocketChannel;
12import io.netty.channel.socket.nio.NioServerSocketChannel;
13import io.netty.handler.codec.DelimiterBasedFrameDecoder;
14import io.netty.handler.codec.Delimiters;
15import io.netty.handler.codec.string.StringDecoder;
16import io.netty.handler.codec.string.StringEncoder;
17
18/**
19 * Netty_4.x版本
20 * 服务类
21 * netty内部是通过线程处理各种数据,EventLoopGroup就是用来管理他们的,注册channel管理他们的生命周期
22 *
23 */
24public class Server extends Thread{
25 private int port;
26
27 public Server(int port) {
28 super();
29 this.port = port;
30 }
31
32 @Override
33 public void run() {
34 // NioEventLoopGroup 是用来处理I/O操作的多线程事件循环器,是在4.x版本中提出来的一个新概念用于管理Channel连接的。
35 //服务端需要两个。和3.x版本一样,一个是boss线程一个是worker线程。
36 //因为bossGroup仅接收客户端连接,不做复杂的逻辑处理,为了尽可能减少资源的占用,取值越小越好
37 NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
38 //处理bossGroup接收的连接的流量和将接收的连接注册进入这个worker
39 NioEventLoopGroup workerGroup = new NioEventLoopGroup();
40 try {
41 //ServerBootstrap负责建立服务端,ServerBootstrap是一个启动Nio服务的辅助启动类
42 //可以在这个服务中直接使用channel,但是大多数情况下你无需做这种乏味的事情
43 ServerBootstrap strap = new ServerBootstrap();
44 //设置Group否则会报java.lang.IllegalStateException: group not set异常
45 strap.group(bossGroup,workerGroup)
46 //设置niosocket工厂,ServerSocketChannel以NIO的selector为基础进行实现的,
47 //指定使用NioServerSocketChannel产生一个channel用来接收连接
48 .channel(NioServerSocketChannel.class)
49 /* 设置管道的工厂,用于添加相关的Handler
50 * channelInitializer用于配置一个新的channel,
51 * 用于向你的channel当中添加ChannelInboundHandler的实现
52 */
53 .childHandler(new ChannelInitializer<SocketChannel>(){
54 @Override
55 protected void initChannel(SocketChannel paramC) throws Exception {
56 // channelPipeline用于存放管理channelHandler
57 //channelHandler用于请求响应的业务逻辑相关代码
58 ChannelPipeline pipeline = paramC.pipeline();
59 /**
60 * 拆包粘包:
61 * TCP是一个“流”协议,所谓流,就是没有界限的一长串二进制数据。TCP作为传输层协议并不不了解上层业务数据的具体含义,
62 * 它会根据TCP缓冲区的实际情况进行数据包的划分,所以在业务上认为是一个完整的包,可能会被TCP拆分成多个包进行发送,
63 * 也有可能把多个小的包封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题
64 * 解决策略:
65 * 由于底层的TCP无法理解上层的业务数据,所以在底层是无法保证数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决。业界的主流协议的解决方案,可以归纳如下:
66 * 1. 消息定长,报文大小固定长度,例如每个报文的长度固定为200字节,如果不够空位补空格;
67 * 2. 包尾添加特殊分隔符,例如每条报文结束都添加回车换行符(例如FTP协议)或者指定特殊字符作为报文分隔符,接收方通过特殊分隔符切分报文区分;
68 * 3. 将消息分为消息头和消息体,消息头中包含表示信息的总长度(或者消息体长度)的字段;
69 * 4. 更复杂的自定义应用层协议。
70 * Netty提供了多个解码器,可以进行分包的操作,分别是:
71 * LineBasedFrameDecoder (回车换行解码器)
72 * p.addLast(new LineBasedFrameDecoder(1024));
73 * DelimiterBasedFrameDecoder(分隔符解码器,用户可以指定消息结束的分隔符,它可以自动完成以分隔符作为码流结束标识的消息的解码)
74 * FixedLengthFrameDecoder(固定长度解码器,它能够按照指定的长度对消息进行自动解码,开发者不需要考虑TCP的粘包/拆包等问题)
75 ch.pipeline().addLast(new FixedLengthFrameDecoder(1<<5));
76 * LengthFieldBasedFrameDecoder( 将消息分为消息头和消息体,自动屏蔽TCP底层的拆包和粘包问题,只需要传入正确的参数,即可轻松解决“读半包“问题)
77 */
78 // 以("\n")为结尾分割的 解码器(添加特殊分隔符报文来分包---拆包粘包)
79 pipeline.addLast("framer",new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));
80 //编码解码
81 pipeline.addLast("decode",new StringDecoder());
82 pipeline.addLast("encode",new StringEncoder());
83 //业务逻辑处理
84 pipeline.addLast("handler",new DiscardServerHandler());
85 };
86
87 })
88 /*
89 *对channel进行一些配置,以下是socket的标准参数
90 *BACKLOG用于构造服务端套接字serverSocket对象,标识当前服务器请求处理线程全满时,
91 *用于临时存放已完成三次握手的请求的队列的最大长度,如果未设置或者设置的值小于1,Java使用默认值50
92 *Option是为了NioServerSocketChannel设置的,用于接收传入连接
93 */
94 .option(ChannelOption.SO_BACKLOG, 128)
95 /*
96 * 是否启动心跳保活机制,在双方TCP套接字建立后(即都进入ESTABLISHED状态)
97 * 并且在两个小时左右上层没有任何数据传输的情况下,这套机制才会被激活
98 * childOption是用来给父级ServerChannel之下的channels设置的,用于接收到连接
99 */
100 .childOption(ChannelOption.SO_KEEPALIVE, true);
101 //绑定端口并启动去接收进来的连接
102 try {
103 ChannelFuture future = strap.bind(port).sync();
104 /*
105 * sync()会同步等待连接操作结果,用户将会再此wait(),直到连接操作完成之后,线程被notify(),用户代码继续执行
106 * closeFuture()当Channel关闭时返回一个channelFuture,用于链路检测
107 */
108 future.channel().closeFuture().sync();
109 } catch (InterruptedException e) {
110 // TODO Auto-generated catch block
111 e.printStackTrace();
112 }
113
114 }finally {
115 //优雅释放资源
116 bossGroup.shutdownGracefully();
117 workerGroup.shutdownGracefully();
118 }
119
120 }
121}
122
123
ServerHandler:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115 1package com.li.nettyBusiness;
2
3import java.lang.ref.Reference;
4import java.net.InetAddress;
5import java.nio.charset.Charset;
6
7import io.netty.buffer.ByteBuf;
8import io.netty.channel.ChannelHandlerContext;
9import io.netty.channel.ChannelInboundHandlerAdapter;
10import io.netty.util.CharsetUtil;
11import io.netty.util.ReferenceCountUtil;
12
13/*
14 * 服务端处理通道
15 * ChannelInboundHandlerAdapter实现自ChannelInboundHandler
16 * ChannelInboundHandler提供了不同事件的处理方法(可自己重写)
17 */
18public class HelloServerHandler extends ChannelInboundHandlerAdapter {
19 /**
20 * 每当客户端收到新的数据时,这个方法会在收到消息是被调用
21 * 收到消息的类型是ByteBuf
22 * @param ctx 通道处理的上下文信息
23 * @param msg 接收的信息
24 */
25 @Override
26 public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
27 // TODO Auto-generated method stub
28 try {
29 /*
30 * ChannelHandlerContext提供各种不同的操作用于触发不同的I/O时间和操作
31 * 调用write方法来逐字返回接收到的信息
32 * 这里我们不需要在DISCARD例子当中那样调用释放,因为Netty会在写的时候自动释放
33 *只调用write是不会释放的,它会缓存,直到调用flush
34 */
35 //打印客户端传过来的信息
36 //ByteBuf in = (ByteBuf)msg; //在pipeline中已经进行String类型的编解码操作,所以此时不用ByteBuf接收
37 //System.out.println("客户端:"+in.toString(CharsetUtil.UTF_8));
38 System.out.println("客户端:"+msg.toString());
39
40 // 注意:字符串最后面的"\n"是必须的。因为我们在前面的解码器DelimiterBasedFrameDecoder是一个
41 //根据字符串结尾为“\n”来结尾的。假如没有这个字符的话。解码会出现问题。
42 ctx.writeAndFlush("hello Netty\r\n");
43 /*另一种写法
44 * ctx.write(msg);
45 * ctx.flush();
46 */
47 //ctx.channel().write("1");
48 }finally{
49 /**
50 * ByteBuf是一个引用计数对象,他是在有对象引用的时候计数+1,无的时候计数-1,当为0对象释放内存,
51 * 这个对象必须显示的调用release()方法来释放
52 *
53 * 处理器的职责是释放所有传递到处理器的引用计数对象
54 */
55 //抛弃接收到的数据
56 ReferenceCountUtil.release(msg);
57 }
58
59 }
60 /**
61 * 这个方法会在发生异常时调用
62 */
63 @Override
64 public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
65 // TODO Auto-generated method stub
66 /**
67 * exceptionCaught()事件处理方法是当出现Throwable才会被调用,即当netty出现IO错误或者处理器在处理事件时
68 * 抛出的异常时。在大部分情况下,扑捉的异常应该被记录下来并且把关联的channel给关闭掉,然而这个方法的处理方式在遇到
69 * 不同的异常时会有不同的实现,比如你想在关闭连接之前发送一个错误码的响应消息
70 */
71 //出现异常就关闭
72 cause.printStackTrace();
73 ctx.close();
74
75 }
76 /**
77 * 通道连接事件。
78 * 当Channel变成活跃状态时被调用
79 */
80 @Override
81 public void channelActive(ChannelHandlerContext ctx) throws Exception {
82 // TODO Auto-generated method stub
83 System.out.println("RamoteAddress : "+ ctx.channel().remoteAddress()+ " active !");
84
85 ctx.writeAndFlush("welcome to "+ InetAddress.getLocalHost().getHostName() + " server.\n");
86 super.channelActive(ctx);
87 }
88 /**
89 * 连接中断时,调用它
90 */
91 @Override
92 public void channelInactive(ChannelHandlerContext ctx) throws Exception {
93 // TODO Auto-generated method stub
94 super.channelInactive(ctx);
95 }
96 /**
97 * 一旦更改了{连接信道}的可写状态,就调用。您可以检查状态
98 */
99 @Override
100 public void channelWritabilityChanged(ChannelHandlerContext ctx) throws Exception {
101 // TODO Auto-generated method stub
102 super.channelWritabilityChanged(ctx);
103 }
104 /**
105 * 如果触发了用户事件,将调用它
106 */
107 @Override
108 public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Exception {
109 // TODO Auto-generated method stub
110 super.userEventTriggered(ctx, evt);
111 }
112
113}
114
115
上面的是服务端的代码里面的注释解释的都都清楚了这里就不在解释了接着我们来编写客户端程序:
Client.java:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57 1package com.li.nettyServer;
2
3import java.io.BufferedReader;
4import java.io.IOException;
5import java.io.InputStreamReader;
6
7import com.li.nettyBusiness.HelloClientInitializer;
8
9import io.netty.bootstrap.Bootstrap;
10import io.netty.channel.Channel;
11import io.netty.channel.EventLoopGroup;
12import io.netty.channel.nio.NioEventLoopGroup;
13import io.netty.channel.socket.nio.NioSocketChannel;
14
15public class Client extends Thread{
16
17 private static String host="127.0.0.1";
18 private static int port=8888;
19 @Override
20 public void run() {
21 // TODO Auto-generated method stub
22 //接收的连接的流量和将接收的连接注册进入这个worker
23 EventLoopGroup workerGroup = new NioEventLoopGroup();
24 try {
25 Bootstrap bt = new Bootstrap(); //建立客户端
26 bt.group(workerGroup);//设置group
27 bt.channel(NioSocketChannel.class); //设置niosocket工厂
28 bt.handler(new HelloClientInitializer()); //设置管道的工厂,用于添加相关的Handler处理类
29
30 //连接服务端
31 Channel channel = bt.connect(host,port).sync().channel();
32 //控制台输出
33 BufferedReader in = new BufferedReader(new InputStreamReader(System.in));
34 for(;;) { //这是一个死循环
35 String line = in.readLine();
36 if(line == null) {
37 continue;
38 }
39 // 注意:字符串最后面的"\n"是必须的。因为我们在前面的解码器DelimiterBasedFrameDecoder是一个
40 //根据字符串结尾为“\n”来结尾的。假如没有这个字符的话。解码会出现问题。
41 channel.writeAndFlush(line+"\r\n");
42 }
43 } catch (InterruptedException e) {
44 // TODO Auto-generated catch block
45 e.printStackTrace();
46 } catch (IOException e) {
47 // TODO Auto-generated catch block
48 e.printStackTrace();
49 }finally {
50 //优雅释放资源
51 workerGroup.shutdownGracefully();
52 }
53 }
54
55}
56
57
ClientInitializer.java
这里从客户端的Client类中分离出来了,也可以写在一块。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29 1package com.li.nettyBusiness;
2
3import io.netty.channel.ChannelInitializer;
4import io.netty.channel.ChannelPipeline;
5import io.netty.channel.socket.SocketChannel;
6import io.netty.handler.codec.DelimiterBasedFrameDecoder;
7import io.netty.handler.codec.Delimiters;
8import io.netty.handler.codec.string.StringDecoder;
9import io.netty.handler.codec.string.StringEncoder;
10
11public class HelloClientInitializer extends ChannelInitializer<SocketChannel>{
12
13 @Override
14 protected void initChannel(SocketChannel sc) throws Exception {
15 // TODO Auto-generated method stub
16 //这个地方的 必须和服务端对应上。否则无法正常解码和编码
17 ChannelPipeline pipeline = sc.pipeline();
18 // 以("\n")为结尾分割的 解码器
19 pipeline.addLast("framer",new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));
20 //String编码解码
21 pipeline.addLast("decoder",new StringDecoder());
22 pipeline.addLast("encoder",new StringEncoder());
23 //客户端逻辑
24 pipeline.addLast("handler",new HelloClientHandler());
25 }
26
27}
28
29
ClientHandler.java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33 1package com.li.nettyBusiness;
2
3import io.netty.channel.ChannelHandlerContext;
4import io.netty.channel.ChannelInboundHandlerAdapter;
5import io.netty.channel.SimpleChannelInboundHandler;
6
7public class HelloClientHandler extends SimpleChannelInboundHandler {
8
9
10 @Override
11 protected void channelRead0(ChannelHandlerContext ctx, Object msg) throws Exception {
12 // TODO Auto-generated method stub
13 System.out.println("服务器:"+msg.toString());
14 }
15
16 @Override
17 public void channelActive(ChannelHandlerContext ctx) throws Exception {
18 // TODO Auto-generated method stub
19 System.out.println("Client active ");
20 super.channelActive(ctx);
21 }
22
23 @Override
24 public void channelInactive(ChannelHandlerContext ctx) throws Exception {
25 // TODO Auto-generated method stub
26 System.out.println("Client closes");
27 super.channelInactive(ctx);
28 }
29
30
31}
32
33
main启动类:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23 1package com.li.main;
2
3import com.li.nettyServer.Client;
4import com.li.nettyServer.Server;
5
6public class main {
7 public static void main(String[] args) {
8 int port;
9 if(args.length>0) {
10 port=Integer.parseInt(args[0]);
11 System.out.println("args[0]:"+args[0]);
12
13 }else {
14 port=8888;
15 }
16
17
18 new Server(port).start();
19 new Client().start();
20 }
21}
22
23
好了,上面就是Netty服务端及客户端的全部代码了。上面的解释也很清楚如果不是特别懂的还需找度娘啦哈哈哈
下来看看运行结果
ok没问题。 下来就要了解netty的各个组件更加深入的学习。