# 需求背景目前，网易云商·七鱼智能客服数据库缓存使用了 spring-data-redis 框架，并由自研的缓存组件进行管理。该组件使用 Jackson 框架对缓存数据进行序列化和反序列化，并将其以明文 JSON 的形式存储在 Redis 中。这种方式存在两个问题： - **速度慢，CPU占用高** 在应用服务中，读写缓存数据时需要进行字符串的反序列化和序列化操作，即将对象转换为 JSON 格式再转换为字节数组，但是使用 Jackson 序列化方式的性能并不是最优的。此外，在线上服务分析中发现，对于缓存命中率较高的应用，在并发稍微高一点的情况下，Jackson 序列化会占用较多的 CPU 资源。 - **存储空间大，资源浪费** 对于 Redis 集群来说，JSON 数据占用的存储空间较大，会浪费 Redis 存储资源。在对同类序列化框架进行调研后，我们决定使用 ProtoStuff 代替 Jackson 框架。本文将简要介绍 ProtoStuff 的存储原理，并讨论在替换过程中遇到的一些问题。 # 关于 ProtoStuff ## 什么是 ProtoStuff？ ProtoStuff 是一种基于 Google Protocol Buffers（protobuf）协议的序列化和反序列化库，它可以将 Java 对象序列化为二进制数据并进行网络传输或存储，也可以将二进制数据反序列化为 Java 对象。与其他序列化库相比，ProtoStuff 具有更高的性能和更小的序列化大小，因为它使用了基于标记的二进制编码格式，同时避免了 Java 序列化的一些缺点，例如序列化后的数据过大和序列化性能较慢等问题。因此，ProtoStuff 被广泛应用于高性能的分布式系统和大规模数据存储系统中。 Protostuff 的序列化编码算法与 Protobuf 基本相同，都采用基于 Varint 编码的变长序列化方式，以实现对编码后的字节数组的压缩。此外，Protostuff 还引入了 LinkedBuffer 这种数据结构，通过链表的方式将不连续内存组合起来，从而实现数据的动态扩张，提高存储效率。 > Varint 编码是一种可变长度的整数编码方式，用于压缩数字数据，使其更加紧凑。它使用 1 个或多个字节来表示一个整数，其中每个字节的高位都用于指示下一个字节是否属于同一个数。较小的数字使用较少的字节编码，而较大的数字则需要更多的字节编码。这种编码方式被广泛应用于网络传输和存储领域。 ## LinkedBuffer 简单看一下 LinkedBuffer 的源码： ``` public final class LinkedBuffer{ /** * The minimum buffer size for a {@link LinkedBuffer}. */ public static final int MIN_BUFFER_SIZE = 256; /** * The default buffer size for a {@link LinkedBuffer}. */ public static final int DEFAULT_BUFFER_SIZE = 512; final byte[] buffer; final int start; int offset; LinkedBuffer next; } ``` byte[] buffer 是用来存储序列化过程中的字节数组的，默认的大小是 512，最低可以设置成 256。LinkedBuffer next 指向的是下一个节点。start 是开始位置，offset 是偏移量。链表大概长这样，这样就可以把几块连续的内存块给链接到一起了。 ![流程图1.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/59053513a34647da950f903730a04b7d~tplv-k3u1fbpfcp-watermark.image?) ## **Schema 接口** 除了 LinkedBuffer 这个类，还有一个关键的接口：Schema，这是一个类似于数据库 DDL 结构的东西，它定义了序列化对象的类的结构信息，有哪些字段，字段的顺序是怎么样的，怎样序列化，怎样反序列化。在使用的时候一般用的是 RuntimeSchema 这个实现类。 ``` public final class RuntimeSchema implements Schema, FieldMap { private final FieldMap fieldMap; public static RuntimeSchema createFrom(Class typeClass, Set exclusions, IdStrategy strategy) { // 省略部分代码 final Map fieldMap = findInstanceFields(typeClass); final ArrayList> fields = new ArrayList>(fieldMap.size()); int i = 0; boolean annotated = false; for (java.lang.reflect.Field f : fieldMap.values()) { if (!exclusions.contains(f.getName())) { if (f.getAnnotation(Deprecated.class) != null) { i++; continue; } final Tag tag = f.getAnnotation(Tag.class); final int fieldMapping; final String name; if (tag == null) { // 省略部分代码 fieldMapping = ++i; name = f.getName(); } else { // 省略部分代码 annotated = true; fieldMapping = tag.value(); // 省略部分代码 name = tag.alias().isEmpty() ? f.getName() : tag.alias(); } final Field field = RuntimeFieldFactory.getFieldFactory(f.getType(), strategy).create(fieldMapping, name, f, strategy); fields.add(field); } } return new RuntimeSchema(typeClass, fields, RuntimeEnv.newInstantiator(typeClass)); } static void fill(Map fieldMap, Class typeClass) { if (Object.class != typeClass.getSuperclass()) fill(fieldMap, typeClass.getSuperclass()); for (java.lang.reflect.Field f : typeClass.getDeclaredFields()) { int mod = f.getModifiers(); if (!Modifier.isStatic(mod) && !Modifier.isTransient(mod) && f.getAnnotation(Exclude.class) == null) fieldMap.put(f.getName(), f); } } @Override public List> getFields() { return fieldMap.getFields(); } @Override public final void writeTo(Output output, T message) throws IOException { for (Field f : getFields()) f.writeTo(output, message); } } ``` 根据 fill 方法的实现，我们可以得知 fieldMap 是通过调用当前类及其父类的 getDeclaredFields 方法所获取的所有字段。接着，在 createFrom 方法中，我们遍历所有字段，获取每个字段的序列化序号 fieldMapping。在序列化过程中，我们调用 writeTo 方法，将每个字段按照 fieldMapping 的顺序写入字节数组中。众所周知，Java 的 getDeclaredFields 方法返回的字段数组不是按照特定的顺序排列的。字段的顺序取决于具体的 JVM 实现以及编译器等因素。因此，在不使用 Tag 注解的时候，**序列化的字段顺序是不固定的**。如果在原有的字段中间随意插入一个字段，或者在合并代码的时候调换了字段的顺序，反序列化的数据不仅会错乱，很大概率还会报错。 ![2.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c7c3555d2573455d826d25419ffdec85~tplv-k3u1fbpfcp-watermark.image?) 在 ProtoStuff 的官方文档里，**推荐使用 @Tag 注解来显式的声明字段序列化的顺序**。Tag 注解对于小项目或者固定不会变的类对象确实是挺好用的，但是对于老项目序列化框架迁移来说，多个代码仓库超过 400 个对象需要加 Tag 注解，代码改动量和影响范围将会非常庞大。而且一旦有字段加了 Tag 注解，那么后续添加的所有字段都需要添加注解，并且需要保证新增字段的顺序是递增的，会有一定的维护成本和风险。 # **自适应 ProtoStuff 的改造方案** 为了减少序列化框架迁移过程的代码改动范围和风险，降低后期编码维护成本，我们需要一个可以在序列化与反序列化时自动适配字段的改造方案。 ## **主要思路** ### **序列化** - 将 getDeclaredFields 方法获取到的当前类及其父类所有的字段，根据字段名称进行排序。 - 遍历排序后的字段列表，将字段转换成 ProtoStuff 需要的 Field 列表，再调用 RuntimeSchema 的构造方法新建一个对象。通过 RuntimeSchema 对象完成序列化操作，生成字节数组。 - 由于 ProtoStuff 的编码是 T-L-V 格式的，只存了对象字段的下标和具体的值，没有存完整的类路径，而且 spring-data-redis 反序列化的时候不知道目标对象的类型，因此还需要一个包装类来存储额外的信息。 - 对统一包装对象进行序列化，返回生成的字节数组。 - 将缓存对象的类结构信息缓存到 Redis 中，以便反序列化时使用。 ![流程图2.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/82e7f234d64f4eb4ad7849dec40d742d~tplv-k3u1fbpfcp-watermark.image?) 为了提供序列化的效率，还可以将 RuntimeSchema 对象缓存到本地。 ### **反序列化** - 将字节数组反序列化成通用的包装类。 - 从包装类中获取到源数据的类路径，版本号，字段哈希值。先判断源数据类是否是集合或者基本数据类型，如果是基本数据类型，直接返回 source 字段的内容。如果是集合类，判断本地版本号是否与包装类获取到的版本号一致，一致的时候返回 source 字段的内容。 - 源数据类型既不是集合也不是基本数据类型，获取本地对象的版本号，如果本地对象版本号大于缓存版本号，则将缓存数据淘汰掉。 - 如果本地对象的版本号和缓存中的版本号一致，就直接使用本地类进行转换，获取到 RuntimeSchema 进行反序列化。 - 如果本地对象的版本号小于缓存中的版本号，则需要根据类路径 + 缓存版本号从 Redis 中获取到对应的类结构信息，将本地的字段进行重新排序，获取到和缓存数据对应的字段顺序值，再生成相应的 RuntimeSchema 进行反序列化。 # **代码实现** ProtoStuff 的入门使用是很简单的，只需要引入 ProtoStuff 的依赖，然后在需要使用序列化的类字段上加上 Tag 注解即可使用。也可以不使用注解，ProtoStuff 会根据字段顺序来确定缓存中的顺序。 ## **增加 Maven 依赖** ``` io.protostuff protostuff-core 1.7.4 io.protostuff protostuff-runtime 1.7.4 ``` ## **统一包装类** ``` public class ProtoStuffWrapper implements Serializable { private static final long serialVersionUID = 6310017353904821602L; // 版本号 @Tag(1) private int version; // 包装类型的完整路径名 @Tag(2) private String className; // 包装对象序列化后的字节数组 @Tag(3) private byte[] data; // 是否是没有包装的类型 @Tag(4) private boolean noWrapperObject; // 用于存储集合对象 @Tag(5) private Object source; // 类字段hash @Tag(6) private int classHash; // 省略 get set 和构造方法 } ``` 对于基本数据类型和一些 Java 的基础对象，以及集合，Map 类对象，会直接将数据放在 source 中。 ## **重写序列化方法** 实现 org.springframework.data.redis.serializer.RedisSerializer 接口，重写序列化方法。 ### **流程图** ![流程图3.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/66bd2da5dbbb435ab2449fa0684b9fc9~tplv-k3u1fbpfcp-watermark.image?) ### **代码** ``` public class ProtostuffRedisSerializer implements RedisSerializer