Day475,你的技术真的到天花板了吗

28 阅读7分钟

四、Protobuf 快速入门实例


编写程序,使用 Protobuf 完成如下功能

  1. 客户端可以发送一个 Student PoJo 对象到服务器 (通过 Protobuf 编码)

  2. 服务端能接收 Student PoJo 对象,并显示信息(通过 Protobuf 解码)

  • 代码

引入maven依赖

com.google.protobuf

protobuf-java

3.6.1

Student.proto文件

syntax="proto3";//协议版本

option java_outer_classname="StudentPOJO";//生成的外部类名,同时也是文件名

//protobuf使用message的形式管理数据

message Student{//会在StudentPOJO外部类,生成一个内部类。这个内部类的名称为Student,他是真正发送的POJO对象

int32 id = 1;//Student类中有一个属性,类型为int32,属性名为id,属性的序号为1(不代表值)。

string name = 2;

}

编译

protoc.exe --java_out=. Student.proto

将生成的 StudentPOJO 放入到项目使用

具体代码地址: https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/codec


五、Protobuf 快速入门实例 2


  1. 编写程序,使用 Protobuf 完成如下功能

  2. 客户端可以随机发送 Student PoJo/ Worker PoJo 对象到服务器 (通过 Protobuf 编码)

  3. 服务端能接收 Student PoJo/ Worker PoJo 对象(需要判断是哪种类型),并显示信息(通过 Protobuf 解码)

  • 代码

Student.proto文件

syntax="proto3";

option optimize_for=SPEED;//加快解析

option java_package="com.achang.netty.codec2";//指定生成到哪个包下

option java_outer_classname="MyDataInfo";//外部类名称,文件名

//protobuf可以使用message来管理其他message

message MyMessage{

//定义一个枚举

enum DataType{

StudentType=0;//在proto3 要求enum的编号从0开始

WorkerType=1;

}

//用data_type来标识传的是哪个枚举类型

DataType data_type=1;

//表示每次枚举类型最多只能出现其中的一个,节省空间

oneof dataBody{

Student student = 2;

Worker worker = 3;

}

}

message Student{

int32 id = 1;//Student类的属性

string name = 2;

}

message Worker{

string name =1;

int32 age=2;

}

编译的方式跟上面一样

具体代码地址:https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/codec2


Netty 编解码器和 handler 的调用机制

===================================================================================

在这里插入图片描述

一、基本说明


  1. netty 的组件设计:Netty 的主要组件有

  2. Channel

  3. EventLoop

  4. ChannelFuture

  5. ChannelHandler

  6. ChannelPipe 等

  7. ChannelHandler 充当了处理入站出站数据的应用程序逻辑的容器。

  8. 例如,实现 ChannelInboundHandler 接口(或ChannelInboundHandlerAdapter),你就可以接收入站事件和数据,这些数据会被业务逻辑处理。当要给客户端发 送 响 应 时 , 也 可 以 从ChannelInboundHandler 冲 刷 数 据 。

  9. 业 务 逻 辑 通 常 写 在 一 个 或 者 多 个ChannelInboundHandler 中。

  10. ChannelOutboundHandler 原理一样,只不过它是用来处理出站数据的

  11. ChannelPipeline 提供了 ChannelHandler 链的容器

  12. 客户端应用程序为例,如果事件的运动方向是从客户端到服务端的,那么我们称这些事件为出站的即客户端发送给服务端的数据会通过 pipeline 中的一系列ChannelOutboundHandler,并被这些 Handler 处理,反之则称为入站在这里插入图片描述


二、编码解码器


  1. 当 Netty 发送或者接受一个消息的时候,就将会发生一次数据转换

  2. 入站消息会被解码:从字节转换为另一种格式(比如 java 对象);

  3. 如果是出站消息,它会被编码成字节。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qlPZ4VhA-1639225376582)(C:/Users/PePe/AppData/Roaming/Typora/typora-user-images/image-20211211201226585.png)]

  1. Netty 提供一系列实用的编解码器,他们都实现了 ChannelInboundHadnler 或者ChannelOutboundHandler 接口。

  2. 在这些类中,channelRead 方法已经被重写了。

  3. 以入站为例,对于每个从入站 Channel 读取的消息,这个方法会被调用。(解码

  4. 随后,它将调用由解码器所提供的 decode()方法进行解码,并将已经解码的字节转发给 ChannelPipeline中的下一个 ChannelInboundHandler


三、解码器-ByteToMessageDecoder


  • 关系继承图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N3OLD7WD-1639225376587)(C:/Users/PePe/AppData/Roaming/Typora/typora-user-images/image-20211211201434040.png)]

  • 由于不可能知道远程节点是否会一次性发送一个完整的信息,tcp 有可能出现粘包拆包的问题,这个类会对入站数据进行缓冲,直到它准备好被处理.

  • 一个关于 ByteToMessageDecoder 实例分析

在这里插入图片描述

四、Netty 的 handler 链的调用机制


  • 实例要求:

使用自定义的编码器和解码器来说明 Netty 的 handler 调用机制

客户端发送 long -> 服务器

服务端发送 long -> 客户端

代码地址:https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/InboundandoutboundHandler

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yWLXlYl8-1639225376598)(C:/Users/PePe/AppData/Roaming/Typora/typora-user-images/image-20211211201721485.png)]

  • 结论

  • 不论解码器 handler 还是编码器 handler 即接收的消息类型必须与待处理的消息类型一致,否则该 handler 不会被执行

  • 在解码器进行数据解码时,需要判断缓存区(ByteBuf)的数据是否足够,否则接收到的结果会期望结果可能不一致


五、解码器-ReplayingDecoder


  1. public abstract class ReplayingDecoder< S > extends ByteToMessageDecoder

  2. ReplayingDecoder 扩展了 ByteToMessageDecoder 类,使用这个类, 我们不必调用 readableBytes() 方法。

  3. 参数 S指定了用户状态管理的类型,其中 Void 代表不需要状态管理

应用实例

使用 ReplayingDecoder 编写解码器,对前面的案例进行简化

public class MyByteToLongDecoder2 extends ReplayingDecoder {

@Override

protected void decode(ChannelHandlerContext ctx, ByteBuf in, List out) throws Exception {

System.out.println("MyByteToLongDecoder2 被调用");

//在 ReplayingDecoder 不需要判断数据是否足够读取,内部会进行处理判断

out.add(in.readLong());

}

}

ReplayingDecoder 使用方便,但它也有一些局限性

  • 不 是 所 有 的 ByteBuf 操 作 都 被 支 持 , 如 果 调 用 了 一 个 不 被 支 持 的 方 法 , 将 会 抛 出 一 个UnsupportedOperationException

  • ReplayingDecoder 在某些情况下可能稍慢于 ByteToMessageDecoder,例如网络缓慢并且消息格式复杂时,消息会被拆成了多个碎片,速度变慢


六、其它编解码器


1、其它解码器

  1. LineBasedFrameDecoder:这个类在 Netty 内部也有使用,它使用行尾控制字符(\n 或者\r\n)作为分隔符来解析数据。

  2. DelimiterBasedFrameDecoder:使用自定义的特殊字符作为消息的分隔符。

  3. HttpObjectDecoder:一个 HTTP 数据的解码器

  4. LengthFieldBasedFrameDecoder:通过指定长度来标识整包消息,这样就可以自动的处理黏包和半包消息。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v3Djwnit-1639225376599)(C:/Users/PePe/AppData/Roaming/Typora/typora-user-images/image-20211211202041516.png)]


七、Log4j 整合到 Netty


  • 在 Maven 中添加对 Log4j 的依赖 在 pom.xml

log4j

img img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!