阅读 1594

Kotlin Json库问题总结(Gson以及Moshi的坑)

前言

其实关于kotlin下json解析的问题我很早就碰到了,直到现在才有时间整理。Android开发中应用最广的json库当属Gson,毫无疑问它是一个非常成熟的库,但是迁移到Kotlin以后,gson就出现了两个问题,class字段默认值失效非空类型有可能被赋值为null。实际上这两种情况都是同一个原因,在gson issue #1550中被提及。本文我们从现象->原因->解决方案依次来分析这个问题。

示例代码已上传github

现象

所有字段都有默认值的情况

@JsonClass(generateAdapter = true)
data class DefaultAll(
    val name: String = "me",
    val age: Int = 17
)

fun testDefaultAll() {
    val json = """{}"""
    val p1 = gson.fromJson(json, DefaultAll::class.java)
    println("gson parse json: $p1")
    val p2 = moshi.adapter(DefaultAll::class.java).fromJson(json)
    println("moshi parse json: $p2")
}
// 结果
// gson parse json: DefaultAll(name=me, age=17)
// moshi parse json: DefaultAll(name=me, age=17)
复制代码

可以看到这种情况下gson和moshi都没有问题

部分字段有默认值

@JsonClass(generateAdapter = true)
data class DefaultPart(
    val name: String = "me",
    val gender: String = "male",
    val age: Int
)

fun testDefaultPart() {
    // 这里必须要有age字段,moshi为了保持空安全不允许age为null
    val json = """{"age": 17}"""
    val p1 = gson.fromJson(json, DefaultPart::class.java)
    println("gson parse json: $p1")
    val p2 = moshi.adapter(DefaultPart::class.java).fromJson(json)
    println("moshi parse json: $p2")
}

// 结果
// gson parse json: DefaultPart(name=null, gender=null, age=17)
// moshi parse json: DefaultPart(name=me, gender=male, age=17)
复制代码

这种情况下gson忽略了name字段和gender字段默认值,给非空类型设置了一个null值,这个就不符合预期了。而moshi则没有影响。

原因分析

gson丢失默认值原因

Gson反序列化对象时

  • 先尝试获取无参构造函数
  • 失败则尝试List、Map等情况的构造函数
  • 最后使用Unsafe.newInstance兜底(此兜底不会调用构造函数,导致所有对象初始化代码不会调用)

显然出现这种情况是因为Gson获取类的无参构造函数失败了,所以最后走到了unsafe方案。让我们来看看Kotlin代码对应的java代码,一探究竟。AS tools -> kotlin -> show kotlin bytecode可以查看kotlin编译后的字节码,decompile后可以查看对应的java代码。

所有字段都有默认值

public final class DefaultAll {
   @NotNull
   private final String name;
   private final int age;

   @NotNull
   public final String getName() {
      return this.name;
   }

   public final int getAge() {
      return this.age;
   }

   public DefaultAll(@NotNull String name, int age) {
      Intrinsics.checkNotNullParameter(name, "name");
      super();
      this.name = name;
      this.age = age;
   }

   // $FF: synthetic method
   public DefaultAll(String var1, int var2, int var3, DefaultConstructorMarker var4) {
      if ((var3 & 1) != 0) {
         var1 = "me";
      }

      if ((var3 & 2) != 0) {
         var2 = 17;
      }

      this(var1, var2);
   }
   
   public DefaultAll() {
      this((String)null, 0, 3, (DefaultConstructorMarker)null);
   }
}
复制代码

可以看到这种情况下该类会生成空参构造函数,但是空参构造函数中并没有赋值,而是调用了synthetic method这个额外生成的辅助构造函数对字段赋默认值。synthetic method倒数第二个参数是一个int类型,用于标记哪些字段使用默认值赋值,按字段声明顺序它们对应的flag值为2^n也就是1 2 4 8....

因为存在空参构造函数而且会赋值默认值,所以这种情况下gson使用正常。

部分字段有默认值

public final class DefaultPart {
   @NotNull
   private final String name;
   @NotNull
   private final String gender;
   private final int age;

   @NotNull
   public final String getName() {
      return this.name;
   }

   @NotNull
   public final String getGender() {
      return this.gender;
   }

   public final int getAge() {
      return this.age;
   }

   public DefaultPart(@NotNull String name, @NotNull String gender, int age) {
      Intrinsics.checkNotNullParameter(name, "name");
      Intrinsics.checkNotNullParameter(gender, "gender");
      super();
      this.name = name;
      this.gender = gender;
      this.age = age;
   }

   // $FF: synthetic method
   public DefaultPart(String var1, String var2, int var3, int var4, DefaultConstructorMarker var5) {
      // 最低不为0表示第一个默认值字段在json中无值,需要默认值
      if ((var4 & 1) != 0) {
         var1 = "me";
      }

      if ((var4 & 2) != 0) {
         var2 = "male";
      }

      this(var1, var2, var3);
   }
}
复制代码

这种情况下该类并没有生成空参构造函数,所以gson实例化时使用了Unsafe,自然默认值不生效。实际上只有所有字段都有默认值时才会生成空参构造函数。

moshi正常工作原因

Moshi库属于square公司,最初由Jake Wharton主导,他是kotlin的拥趸,不难推测moshi对Kotlin做了兼容,实际上也是这样。

Moshi序列化/反序列化时根据每个类反射创建对应的JsonAdapter,用它来进行具体操作,同时支持使用annotationProcessor编译时预先生成各个类的JsonAdapter,空间换时间提升性能。我们从注解器生成的代码入手,看看它做了什么处理,这里选取DefaultPart类生成的DefaultPartJsonAdapter。

public class DefaultPartJsonAdapter(
  moshi: Moshi
) : JsonAdapter<DefaultPart>() {
  private val options: JsonReader.Options = JsonReader.Options.of("name", "gender", "age")

  private val stringAdapter: JsonAdapter<String> = moshi.adapter(String::class.java, emptySet(),
      "name")

  private val intAdapter: JsonAdapter<Int> = moshi.adapter(Int::class.java, emptySet(), "age")

  @Volatile
  private var constructorRef: Constructor<DefaultPart>? = null

  public override fun toString(): String = buildString(33) {
      append("GeneratedJsonAdapter(").append("DefaultPart").append(')') }

  public override fun fromJson(reader: JsonReader): DefaultPart {
    var name: String? = null
    var gender: String? = null
    var age: Int? = null
    // 补码32个1
    var mask0 = -1
    reader.beginObject()
    while (reader.hasNext()) {
      when (reader.selectName(options)) {
        0 -> {
          // name字段非空类型,如果json中value为null则抛异常
          name = stringAdapter.fromJson(reader) ?: throw Util.unexpectedNull("name", "name", reader)
          // ...1111 & ...1110 = ...1110,最低位0表示第一个默认字段在json中存在,不需要赋默认
          mask0 = mask0 and 0xfffffffe.toInt()
        }
        1 -> {
          gender = stringAdapter.fromJson(reader) ?: throw Util.unexpectedNull("gender", "gender",
              reader)
          // ...1110 & ...1101 = ...1100,次低位0表示第二个默认字段在json中存在,不需要赋默认,以此类推
          mask0 = mask0 and 0xfffffffd.toInt()
        }
        2 -> age = intAdapter.fromJson(reader) ?: throw Util.unexpectedNull("age", "age", reader)
        -1 -> {
          // Unknown name, skip it.
          reader.skipName()
          reader.skipValue()
        }
      }
    }
    reader.endObject()
    if (mask0 == 0xfffffffc.toInt()) {
      // 如果所有默认字段都存在于json中,则忽略默认值直接调用构造函数赋值成json中的值
      return  DefaultPart(
          name = name as String,
          gender = gender as String,
          // age字段非空,如果在json中没有对应key则抛异常
          age = age ?: throw Util.missingProperty("age", "age", reader)
      )
    } else {
      // 如果有默认值的字段在Json中不存在,则传入flag反射调用synthetic构造函数,填充默认值
      @Suppress("UNCHECKED_CAST")
      val localConstructor: Constructor<DefaultPart> = this.constructorRef ?:
          DefaultPart::class.java.getDeclaredConstructor(String::class.java, String::class.java,
          Int::class.javaPrimitiveType, Int::class.javaPrimitiveType,
          Util.DEFAULT_CONSTRUCTOR_MARKER).also { this.constructorRef = it }
      return localConstructor.newInstance(
          name,
          gender,
          age ?: throw Util.missingProperty("age", "age", reader),
          mask0,
          /* DefaultConstructorMarker */ null
      )
    }
  }
}
复制代码

做的事情其实也很简单,代码中我写了注释

  1. 用一个int记录(字段超过32个使用多个int)默认值字段在将要解析的json中是否存在,从最低位到最高位依次记录第一个到最后一个默认值字段在json中是否有key,0表示存在,1表示不存在
  2. 判断是否所有默认字段在json中都有值,若为true则不用管默认值,直接使用json字段生成实例,若为false则反射调用(synthetic构造器只能够反射调用)synthetic构造器实例化对象,synthetic构造器会根据标志位为默认值字段赋值

一言蔽之,Moshi通过遵循Kotlin的机制做到了兼容。

解决方案

分析了这么多,避免默认值无效的方法已经显而易见了

  1. 定义类时所有字段都给一个默认值,这样gson就可以正常工作
  2. 使用Moshi库

其他问题,Json中value为null的情况

正常情况下后端返回的Json数据中只应该存在Object类型字段为null的情况,但是现实很骨感,不乏String类型/list类型丢过来也是null的情况。

  • 在Java中,null value会覆盖掉默认值,使用时get方法中判空就可以了。
  • 但是在Kotlin中,如果该字段声明为非空类型,使用gson序列化后非空类型字段会被赋予null值,虽然由于空安全检查是在编译器进行不会报异常,但是这明显非常不符合预期。
  • 而Moshi中对这个情况做了处理,非空字段对应的json value为null时抛JsonDataException,对应的key都不存在时也做同样处理

这些处理逻辑看起来都很合情合理,但是实际开发中不可预期的null value情况又确实存在,我们也不太可能将所有字段都声明为可空类型,那么将Json中null value自定义解析成预设值或许是一个比较好的方法。

Gson自定义解析替换null value

Gson自定义解析使用TypeAdapterFactory或者单TypeAdapter,下面示例将声明为String和List的字段通过自定义解析器替换Json中null value为空字符串和空list

class GsonDefaultAdapterFactory: TypeAdapterFactory {
    override fun <T : Any> create(gson: Gson, type: TypeToken<T>): TypeAdapter<T>? {
        if (type.type == String::class.java) {
            return createStringAdapter()
        }
        if (type.rawType == List::class.java || type.rawType == Collection::class.java) {
            return createCollectionAdapter(type, gson)
        }
        return null
    }

    /**
     * null替换成空List
     */
    private fun <T : Any> createCollectionAdapter(
        type: TypeToken<T>,
        gson: Gson
    ): TypeAdapter<T>? {
        val rawType = type.rawType
        if (!Collection::class.java.isAssignableFrom(rawType)) {
            return null
        }

        val elementType: Type = `$Gson$Types`.getCollectionElementType(type.type, rawType)
        val elementTypeAdapter: TypeAdapter<Any> =
            gson.getAdapter(TypeToken.get(elementType)) as TypeAdapter<Any>

        return object : TypeAdapter<Collection<Any>>() {
            override fun write(writer: JsonWriter, value: Collection<Any>?) {
                writer.beginArray()
                value?.forEach {
                    elementTypeAdapter.write(writer, it)
                }
                writer.endArray()
            }

            override fun read(reader: JsonReader): Collection<Any> {
                val list = mutableListOf<Any>()
                // null替换为空list
                if (reader.peek() == JsonToken.NULL) {
                    reader.nextNull()
                    return list
                }
                reader.beginArray()
                while (reader.hasNext()) {
                    val element = elementTypeAdapter.read(reader)
                    list.add(element)
                }
                reader.endArray()
                return list
            }

        } as TypeAdapter<T>
    }

    /**
     * null 替换成空字符串
     */
    private fun <T : Any> createStringAdapter(): TypeAdapter<T> {
        return object : TypeAdapter<String>() {
            override fun write(writer: JsonWriter, value: String?) {
                if (value == null) {
                    writer.value("")
                } else {
                    writer.value(value)
                }
            }

            override fun read(reader: JsonReader): String {
                // null替换为""
                if (reader.peek() == JsonToken.NULL) {
                    reader.nextNull()
                    return ""
                }
                return reader.nextString()
            }

        } as TypeAdapter<T>
    }
}
复制代码

测试代码

val gson: Gson = GsonBuilder()
    .registerTypeAdapterFactory(GsonDefaultAdapterFactory())
    .create()
    
data class Person(
    val name: String,
    val friends: List<Person>
)

fun testGsonNullValue() {
    val json = """{"name":null, "friends":null}"""
    val p1 = gson.fromJson(json, Person::class.java)
    println("gson parse json: $p1")
}
复制代码

运行结果gson parse json: Person(name=, friends=[]),符合预期

Moshi自定义解析替换null为非空值

Moshi中通过JsonAdapter或者JsonAdapterFactory自定义解析,这边我直接将moshi标准JsonAdapter拿过来进行了修改

public final class MoshiDefaultAdapterFactory {
    private MoshiDefaultAdapterFactory() {
    }

    public static final JsonAdapter.Factory FACTORY = new JsonAdapter.Factory() {
        @Override
        public JsonAdapter<?> create(
                Type type, Set<? extends Annotation> annotations, Moshi moshi) {
            if (!annotations.isEmpty()) return null;
            ......
            if (type == String.class) return STRING_JSON_ADAPTER;
            
            return null;
        }
    };
    ......

    static final JsonAdapter<String> STRING_JSON_ADAPTER = new JsonAdapter<String>() {
        @Override
        public String fromJson(JsonReader reader) throws IOException {
            // 替换null为""
            if (reader.peek() != JsonReader.Token.NULL) {
                return reader.nextString();
            }
            reader.nextNull();
            return "";
        }

        @Override
        public void toJson(JsonWriter writer, String value) throws IOException {
            writer.value(value);
        }

        @Override
        public String toString() {
            return "JsonAdapter(String)";
        }
    };
}
复制代码

替换空null为空list Adapter

/**
 * @author greensun
 * @date 2021/6/2
 * @desc null 转换成空collection  更改自{@link com.squareup.moshi.CollectionJsonAdapter}
 * <p>
 * 如果字段声明为Collection, json中值为null,kotlin下在声明类型为非空情况下会抛异常,这里给一个空Collection填充
 */
public abstract class MoshiDefaultCollectionJsonAdapter<C extends Collection<T>, T> extends JsonAdapter<C> {
    public static final Factory FACTORY =
            new Factory() {
                @Override
                public JsonAdapter<?> create(
                        Type type, Set<? extends Annotation> annotations, Moshi moshi) {
                    Class<?> rawType = Types.getRawType(type);
                    if (!annotations.isEmpty()) return null;
                    if (rawType == List.class || rawType == Collection.class) {
                        return newArrayListAdapter(type, moshi);
                    } else if (rawType == Set.class) {
                        return newLinkedHashSetAdapter(type, moshi);
                    }
                    return null;
                }
            };

    private final JsonAdapter<T> elementAdapter;

    private MoshiDefaultCollectionJsonAdapter(JsonAdapter<T> elementAdapter) {
        this.elementAdapter = elementAdapter;
    }

    static <T> JsonAdapter<Collection<T>> newArrayListAdapter(Type type, Moshi moshi) {
        Type elementType = Types.collectionElementType(type, Collection.class);
        JsonAdapter<T> elementAdapter = moshi.adapter(elementType);
        return new MoshiDefaultCollectionJsonAdapter<Collection<T>, T>(elementAdapter) {
            @Override
            Collection<T> newCollection() {
                return new ArrayList<>();
            }
        };
    }

    static <T> JsonAdapter<Set<T>> newLinkedHashSetAdapter(Type type, Moshi moshi) {
        Type elementType = Types.collectionElementType(type, Collection.class);
        JsonAdapter<T> elementAdapter = moshi.adapter(elementType);
        return new MoshiDefaultCollectionJsonAdapter<Set<T>, T>(elementAdapter) {
            @Override
            Set<T> newCollection() {
                return new LinkedHashSet<>();
            }
        };
    }

    abstract C newCollection();

    @Override
    public C fromJson(JsonReader reader) throws IOException {
        C result = newCollection();
        if (reader.peek() == JsonReader.Token.NULL) {
            // null 直接返回空collection
            reader.nextNull();
            return result;
        }
        reader.beginArray();
        while (reader.hasNext()) {
            result.add(elementAdapter.fromJson(reader));
        }
        reader.endArray();
        return result;
    }

    @Override
    public void toJson(JsonWriter writer, C value) throws IOException {
        writer.beginArray();
        if(value != null) {
            for (T element : value) {
                elementAdapter.toJson(writer, element);
            }
        }
        writer.endArray();
    }

    @Override
    public String toString() {
        return elementAdapter + ".collection()";
    }
}
复制代码

测试代码

val moshi: Moshi = Moshi.Builder()
    .add(KotlinJsonAdapterFactory())
    .add(MoshiDefaultAdapterFactory.FACTORY)
    .add(MoshiDefaultCollectionJsonAdapter.FACTORY)
    .build()

@JsonClass(generateAdapter = true)
data class Person(
    val name: String,
    val friends: List<Person>
)

fun testMoshiNullValue() {
    val json = """{"name":null, "friends":null}"""
    val p2 = moshi.adapter(Person::class.java).fromJson(json)
    println("moshi parse json: $p2")
}
复制代码

运行结果moshi parse json: Person(name=, friends=[]),符合预期

Moshi忽略null值,使用默认值

通过上述的方法已经解决了内建类型的null值替换,但是对于我们自己定义的model class类型是没法做null值替换的(枚举自定义类型判断不现实)。所以还有另一种思路,就是解析json时直接跳过null值,这样就会默认使用model class中定义的默认值构造实例,相关方案在moshi issue #843中提出。官方表示此方法不会合并到库中,需要的开发者自行实现,下面贴一下代码。

package com.squareup.moshi

class DefaultIfNullFactory : JsonAdapter.Factory {
    override fun create(
        type: Type,
        annotations: MutableSet<out Annotation>,
        moshi: Moshi
    ): JsonAdapter<*>? {

        val delegate = moshi.nextAdapter<Any>(this, type, annotations)

        if (!annotations.isEmpty()) return null
        if (type === Boolean::class.javaPrimitiveType) return delegate
        if (type === Byte::class.javaPrimitiveType) return delegate
        if (type === Char::class.javaPrimitiveType) return delegate
        if (type === Double::class.javaPrimitiveType) return delegate
        if (type === Float::class.javaPrimitiveType) return delegate
        if (type === Int::class.javaPrimitiveType) return delegate
        if (type === Long::class.javaPrimitiveType) return delegate
        if (type === Short::class.javaPrimitiveType) return delegate
        if (type === Boolean::class.java) return delegate
        if (type === Byte::class.java) return delegate
        if (type === Char::class.java) return delegate
        if (type === Double::class.java) return delegate
        if (type === Float::class.java) return delegate
        if (type === Int::class.java) return delegate
        if (type === Long::class.java) return delegate
        if (type === Short::class.java) return delegate
        if (type === String::class.java) return delegate

        return object : JsonAdapter<Any>() {

            override fun fromJson(reader: JsonReader): Any? {
                return if (reader.peek() == JsonReader.Token.BEGIN_OBJECT) {
                    delegate.fromJson(JsonReaderSkipNullValuesWrapper(reader))
                } else {
                    delegate.fromJson(reader)
                }
            }

            override fun toJson(writer: JsonWriter, value: Any?) {
                return delegate.toJson(writer, value)
            }
        }
    }
}

class JsonReaderSkipNullValuesWrapper(
    private val wrapped: JsonReader
) : JsonReader() {

    private var ignoreSkipName = AtomicBoolean(false)
    private var ignoreSkipValue = AtomicBoolean(false)

    override fun close() {
        wrapped.close()
    }

    override fun beginArray() {
        wrapped.beginArray()
    }

    override fun endArray() {
        wrapped.endArray()
    }

    override fun beginObject() {
        wrapped.beginObject()
    }

    override fun endObject() {
        wrapped.endObject()
        ignoreSkipName.compareAndSet(true, false)
        ignoreSkipValue.compareAndSet(true, false)
    }

    override fun hasNext(): Boolean {
        return wrapped.hasNext()
    }

    override fun peek(): Token {
        return wrapped.peek()
    }

    override fun nextName(): String {
        return wrapped.nextName()
    }

    override fun selectName(options: Options): Int {
        val index = wrapped.selectName(options)
        return if (index >= 0 && wrapped.peek() == Token.NULL) {
            wrapped.skipValue()
            ignoreSkipName.set(true)
            ignoreSkipValue.set(true)
            -1
        } else {
            index
        }
    }

    override fun skipName() {
        if (ignoreSkipName.compareAndSet(true, false)) {
            return
        }
        wrapped.skipName()
    }

    override fun nextString(): String {
        return wrapped.nextString()
    }

    override fun selectString(options: Options): Int {
        return wrapped.selectString(options)
    }

    override fun nextBoolean(): Boolean {
        return wrapped.nextBoolean()
    }

    override fun <T : Any?> nextNull(): T? {
        return wrapped.nextNull()
    }

    override fun nextDouble(): Double {
        return wrapped.nextDouble()
    }

    override fun nextLong(): Long {
        return wrapped.nextLong()
    }

    override fun nextInt(): Int {
        return wrapped.nextInt()
    }

    override fun nextSource(): BufferedSource {
        return wrapped.nextSource()
    }

    override fun skipValue() {
        if (ignoreSkipValue.compareAndSet(true, false)) {
            return
        }
        wrapped.skipValue()
    }

    override fun peekJson(): JsonReader {
        return wrapped.peekJson()
    }

    override fun promoteNameToValue() {
        wrapped.promoteNameToValue()
    }
}
复制代码

需要注意的是用这种方案的时候最好给所有非空字段定义默认值,否则有可能出现null值被跳过导致的空安全异常

总结

最佳实践: 使用Moshi,给所有非空字段定义默认值+自定义解析忽略不可预期的null值

文章分类
Android
文章标签