[Spark]源代码阅读散记

28 阅读1分钟
 val _reader = new ConfigReader(new SparkConfigProvider(settings))
 使用 ProviderAdapter 这两个模式
ConfigReader: 主要用于封装优先级
SparkConfigProvider: 用来存储相关的信息,信息组织形式,比如说 map或者其他的
@transient private lazy val reader
@transient 这个指的是 不会传递当前的reader,也就是driver端的 reader 会重新传入
主要为了节约网络资源,只传递数据,不传输逻辑对象
lazy: 只有初始化这个变量才会有