dubbo扩展类的初始化

638 阅读9分钟

SPI 全称为 Service Provider Interface,是一种服务发现机制。具体解释参考Dubbo官方文档的Dubbo SPI,这里面对JAVA SPIDubbo自己的SPI讲解非常清楚。这边谈一谈Dubbo初始化时的一些细节。

dubbo有哪些扩展类?

找到源码包中的/META-INF/dubbo/internal目录,会看到一堆SPI的配置。具体可以逐个翻开看看。

com.alibaba.dubbo.cache.CacheFactory
com.alibaba.dubbo.common.compiler.Compiler
com.alibaba.dubbo.common.extension.ExtensionFactory
com.alibaba.dubbo.common.logger.LoggerAdapter
com.alibaba.dubbo.common.serialize.Serialization
com.alibaba.dubbo.common.status.StatusChecker
com.alibaba.dubbo.common.store.DataStore
com.alibaba.dubbo.common.threadpool.ThreadPool
com.alibaba.dubbo.container.Container
com.alibaba.dubbo.monitor.MonitorFactory
com.alibaba.dubbo.qos.command.BaseCommand
com.alibaba.dubbo.registry.RegistryFactory
com.alibaba.dubbo.remoting.Codec2
com.alibaba.dubbo.remoting.Dispatcher
com.alibaba.dubbo.remoting.exchange.Exchanger
com.alibaba.dubbo.remoting.http.HttpBinder
com.alibaba.dubbo.remoting.p2p.Networker
com.alibaba.dubbo.remoting.telnet.TelnetHandler
com.alibaba.dubbo.remoting.Transporter
com.alibaba.dubbo.remoting.zookeeper.ZookeeperTransporter
com.alibaba.dubbo.rpc.cluster.Cluster
com.alibaba.dubbo.rpc.cluster.ConfiguratorFactory
com.alibaba.dubbo.rpc.cluster.LoadBalance
com.alibaba.dubbo.rpc.cluster.Merger
com.alibaba.dubbo.rpc.cluster.RouterFactory
com.alibaba.dubbo.rpc.Filter
com.alibaba.dubbo.rpc.InvokerListener
com.alibaba.dubbo.rpc.Protocol
com.alibaba.dubbo.rpc.protocol.thrift.ClassNameGenerator
com.alibaba.dubbo.rpc.ProxyFactory
com.alibaba.dubbo.validation.Validation

翻开后会发现一个奇怪的问题,每种类型的KV都配置的3遍。我也很好奇这是为啥?

ExtensionLoader对象中存储了啥?

我把ExtensionLoader类中总览性的一些代码贴出来详细说明。并且配上详细的注释。

public class ExtensionLoader<T> {
		// 放置自定义扩展的配置目录
    private static final String SERVICES_DIRECTORY = "META-INF/services/";
		
  	// 放置自定义扩展的配置目录
    private static final String DUBBO_DIRECTORY = "META-INF/dubbo/";
		
  	// 放置内定扩展的配置目录
    private static final String DUBBO_INTERNAL_DIRECTORY = DUBBO_DIRECTORY + "internal/";
		
  	// key:扩展类的抽象类型的class(接口),value:扩展类型对应的扩展类加载器
  	// 比如:(Protocol.class, ExtensionLoader实例)
    private static final ConcurrentMap<Class<?>, ExtensionLoader<?>> EXTENSION_LOADERS = new ConcurrentHashMap<Class<?>, ExtensionLoader<?>>();
		
  	// key:扩展类的class(非接口),value:扩展类型对应的具体实例
  	// 比如:(RegistryProtocol.class, RegistryProtocol实例)
    private static final ConcurrentMap<Class<?>, Object> EXTENSION_INSTANCES = new ConcurrentHashMap<Class<?>, Object>();

    // ==============注意:上面全是静态的,所有对象共享,下面都是非静态的,对象私有================
		// 扩展类的抽象类型的class(接口)
  	// 比如:Protocol.class
    private final Class<?> type;
		
  	// 扩展类工厂,为创建的类做字段注入时,会用到。
    private final ExtensionFactory objectFactory;
		
  	// key:扩展类的class(非接口),扩展类名字
  	// 比如:(RegistryProtocol.class, registry)
    private final ConcurrentMap<Class<?>, String> cachedNames = new ConcurrentHashMap<Class<?>, String>();

  	// key:扩展类名字,扩展类的class(非接口)
  	// 比如:(registry, RegistryProtocol.class)
    private final Holder<Map<String, Class<?>>> cachedClasses = new Holder<Map<String, Class<?>>>();
		
  	// 被@Activate标注的缓存
    private final Map<String, Activate> cachedActivates = new ConcurrentHashMap<String, Activate>();
  	
  	// key:扩展类名字,value:扩展类型对应的具体实例
  	// 比如:(registry, RegistryProtocol实例)
  	// 会发现EXTENSION_LOADERS也存储了相同的value,不同的是,EXTENSION_LOADERS是全局的,而cachedInstances是本对象的。EXTENSION_LOADERS是为了防止某个类实现了不同类型的扩展导致加载时,全局产生这个类的两个instance。
    private final ConcurrentMap<String, Holder<Object>> cachedInstances = new ConcurrentHashMap<String, Holder<Object>>();
  
  	// 缓存当前这个扩展类型下,适配器类型的instance
  	// 比如:AdaptiveExtensionFactory,AdaptiveCompiler(只有这2个)
    private final Holder<Object> cachedAdaptiveInstance = new Holder<Object>();
  
  	// 缓存当前这个扩展类型下的适配器类型
  	// 比如:AdaptiveExtensionFactory,AdaptiveCompiler(只有这2个)
    private volatile Class<?> cachedAdaptiveClass = null;
  
  	// 缓存当前这个扩展类型的默认名字,也就是框架的默认实现
  	// 比如  @SPI("dubbo") public interface Protocol
    private String cachedDefaultName;
		
  	// 缓存当前这个扩展类型的包装器集合类型
  	// 比如:ProtocolFilterWrapper
    private Set<Class<?>> cachedWrapperClasses;

  	// 私有构造方法
  	// 从这边可以看出,每个ExtensionLoader都是跟type绑定的
    private ExtensionLoader(Class<?> type) {
        this.type = type;
      	// 每个ExtensionLoader实例(除了ExtensionFactory本身)都持有ExtensionFactory的委托
      	// 实际上是持有单例AdaptiveExtensionFactory
        objectFactory = (type == ExtensionFactory.class ? null : ExtensionLoader.getExtensionLoader(ExtensionFactory.class).getAdaptiveExtension());
    }

    // 根据type类型来获取ExtensionLoader对象
  	// 如果还未加载,则new ExtensionLoader<T>(type)
    public static <T> ExtensionLoader<T> getExtensionLoader(Class<T> type) {
        if (type == null)
            throw new IllegalArgumentException("Extension type == null");
        if (!type.isInterface()) {
            throw new IllegalArgumentException("Extension type(" + type + ") is not interface!");
        }
        if (!withExtensionAnnotation(type)) {
            throw new IllegalArgumentException("Extension type(" + type +
                    ") is not extension, because WITHOUT @" + SPI.class.getSimpleName() + " Annotation!");
        }

        ExtensionLoader<T> loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        if (loader == null) {
            EXTENSION_LOADERS.putIfAbsent(type, new ExtensionLoader<T>(type));
            loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        }
        return loader;
    }
}

从上面的代码,可以看到几个信息

1.每个可扩展SPI类型,都会对应一个ExtensionLoader实例,并且被全局缓存

2.每个ExtensionLoader实例中会缓存一些信息

​ ① 这个SPI下面所有配置的实现类(只加载,并不初始化)

​ ② 默认使用哪个实现类

​ ③ 适配器类型RegistryProtocol.class, RegistryProtocol,可以参考SPI 自适应扩展

几类SPI的加载顺序

1.ExtensionFactory(扩展类工厂)

​ 从ExtensionLoader的构造方法,可以看出各种SPI类型都会依赖ExtensionFactory

2.Compiler(编译器)

Dubbo中有很多地方需要动态生成java代码片段,就需要编译器。

3.各种普通扩展类

看下ExtensionFactory的结构

ExtensionFactory

结构比较简单,值得注意的是AdaptiveExtensionFactory,看下它的实现。

@Adaptive
public class AdaptiveExtensionFactory implements ExtensionFactory {

  	// 持有一个ExtensionFactory类型的集合
    private final List<ExtensionFactory> factories;

  	// 初始化的时候会加载ExtensionFactory这个SPI类型下的所有实现,并且放入集合
    public AdaptiveExtensionFactory() {
        ExtensionLoader<ExtensionFactory> loader = ExtensionLoader.getExtensionLoader(ExtensionFactory.class);
        List<ExtensionFactory> list = new ArrayList<ExtensionFactory>();
        for (String name : loader.getSupportedExtensions()) {
            list.add(loader.getExtension(name));
        }
        factories = Collections.unmodifiableList(list);
    }

  	// 以下的for循环可以看出,循环从2个工厂获取扩展实例
    @Override
    public <T> T getExtension(Class<T> type, String name) {
        for (ExtensionFactory factory : factories) {
            T extension = factory.getExtension(type, name);
            if (extension != null) {
                return extension;
            }
        }
        return null;
    }

}

典型的适配器模式,SPI中找不到就去Spring工厂。

注意:factories中的所有实现不包括AdaptiveExtensionFactory。可以跟踪下代码loader.getSupportedExtensions方法。跟踪到ExtensionLoader.loadClass,仔细看下那几个if。就会明白在缓存的时候,Adaptive标注的跟普通的实现已经区分开了。

在源码中会大量出现ExtensionLoader.getExtensionLoader(XxxType.class).getAdaptiveExtension()类似这样的代码。这是在加载XxxType类型的自适应拓展,关于自适应拓展的详细介绍,可以参考自适应拓展。简单理解,就是在初始的时候,不加载XxxType类型的实际对象,而是加载动态生成出来的一个对象。要动态加载类,首先得编译。

追踪下ExtensionLoader.getAdaptiveExtension方法会到追到ExtensionLoader.createAdaptiveExtensionClass

具体追踪过程在自适应拓展中有非常详细描述,如果对这部分不熟悉,请务必去看下,非常重要。

private Class<?> createAdaptiveExtensionClass() {
  // 动态生成适配代码
  String code = createAdaptiveExtensionClassCode();
  ClassLoader classLoader = findClassLoader();
  // 动态获取编译器
  com.alibaba.dubbo.common.compiler.Compiler compiler = ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.common.compiler.Compiler.class).getAdaptiveExtension();
  // 编译,并且返回编译后的class
  return compiler.compile(code, classLoader);
}

createAdaptiveExtensionClassCode这个方法,看着有点费劲。主要还是学习思想。个人建议,在debug的时候在createAdaptiveExtensionClassCode的地方打上断点。把生成的code贴出来看看涨啥样。

这边贴一段关于Protocol类型的适配代码。其他类型的结构类似。

package com.alibaba.dubbo.rpc;
import com.alibaba.dubbo.common.extension.ExtensionLoader;

public class Protocol$Adaptive implements com.alibaba.dubbo.rpc.Protocol {
   public void destroy() {
      throw new UnsupportedOperationException("method public abstract void com.alibaba.dubbo.rpc.Protocol.destroy() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
   }

   public int getDefaultPort() {
      throw new UnsupportedOperationException("method public abstract int com.alibaba.dubbo.rpc.Protocol.getDefaultPort() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
   }
		
   public com.alibaba.dubbo.rpc.Exporter export(com.alibaba.dubbo.rpc.Invoker arg0) throws com.alibaba.dubbo.rpc.RpcException {
      if (arg0 == null) throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument == null");
      if (arg0.getUrl() == null)
         throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument getUrl() == null");
      com.alibaba.dubbo.common.URL url = arg0.getUrl();
     	// extName根据URL得到
      String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());
      if (extName == null)
         throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url(" + url.toString() + ") use keys([protocol])");
     	// 根据extName动态获取真实的Protocol的实现
      com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
      return extension.export(arg0);
   }

   public com.alibaba.dubbo.rpc.Invoker refer(java.lang.Class arg0, com.alibaba.dubbo.common.URL arg1) throws com.alibaba.dubbo.rpc.RpcException {
      if (arg1 == null) throw new IllegalArgumentException("url == null");
      com.alibaba.dubbo.common.URL url = arg1;
     	// extName根据URL得到
      String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());
      if (extName == null)
         throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url(" + url.toString() + ") use keys([protocol])");
     	// 根据extName动态获取真实的Protocol的实现
      com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
      return extension.refer(arg0, arg1);
   }
}

自适应拓展机制,实际上是在实现可供开发者动态扩展的策略模式。

看下Compiler的结构

Compiler

ExtensionFactory很类似,只是在JavassistCompilerJdkCompiler上面多了个抽象类。看下AdaptiveCompiler的代码。

public Class<?> compile(String code, ClassLoader classLoader) {
  Compiler compiler;
  ExtensionLoader<Compiler> loader = ExtensionLoader.getExtensionLoader(Compiler.class);
  String name = DEFAULT_COMPILER; // copy reference
  
  // 这边就是看看用Javassis来编译还是用Jdk本身
  if (name != null && name.length() > 0) {
    compiler = loader.getExtension(name);
  } else {
    compiler = loader.getDefaultExtension();
  }
  return compiler.compile(code, classLoader);
}

这边就是判断下用Javassis来编译还是用Jdk本身,默认是Javassis,追踪下setDefaultCompiler就会发现,这个用户可以设置。

各种普通扩展类,每个扩展类都有个name。在使用dubbo时,会配置的就是这些name,比如clusterprotocol等等。配置了哪个,在runtime时用到哪个,哪个就会被初始化。其他文章中再细说这部分。

值得关注的一些细节

1.包装类型(filter机制就是用包装类型实现的,dubbo的filter 有详细介绍)

private T createExtension(String name) {
    Class<?> clazz = getExtensionClasses().get(name);
    if (clazz == null) {
        throw findException(name);
    }
    try {
        T instance = (T) EXTENSION_INSTANCES.get(clazz);
        if (instance == null) {
            EXTENSION_INSTANCES.putIfAbsent(clazz, clazz.newInstance());
            instance = (T) EXTENSION_INSTANCES.get(clazz);
        }
        injectExtension(instance);
      
      	// -----------------------重点关注-------------------------
      	// 循环当前这个扩展类型下的所有包装类型逐个包装并且初始化
        Set<Class<?>> wrapperClasses = cachedWrapperClasses;
        if (wrapperClasses != null && !wrapperClasses.isEmpty()) {
            for (Class<?> wrapperClass : wrapperClasses) {
                instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));
            }
        }
      	// -----------------------重点关注-------------------------
        return instance;
    } catch (Throwable t) {
        throw new IllegalStateException("Extension instance(name: " + name + ", class: " +
                type + ")  could not be instantiated: " + t.getMessage(), t);
    }
}

上面注释中标注重点关注的代码,循环当前这个扩展类型下的所有包装类型逐个包装并且初始化。

比如:Protocol类型的扩展,有3个包装类,分别是ProtocolFilterWrapperProtocolListenerWrapperQosProtocolWrapper

filter=com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper
listener=com.alibaba.dubbo.rpc.protocol.ProtocolListenerWrapper
mock=com.alibaba.dubbo.rpc.support.MockProtocol
dubbo=com.alibaba.dubbo.rpc.protocol.dubbo.DubboProtocol
injvm=com.alibaba.dubbo.rpc.protocol.injvm.InjvmProtocol
rmi=com.alibaba.dubbo.rpc.protocol.rmi.RmiProtocol
hessian=com.alibaba.dubbo.rpc.protocol.hessian.HessianProtocol
com.alibaba.dubbo.rpc.protocol.http.HttpProtocol
com.alibaba.dubbo.rpc.protocol.webservice.WebServiceProtocol
thrift=com.alibaba.dubbo.rpc.protocol.thrift.ThriftProtocol
memcached=com.alibaba.dubbo.rpc.protocol.memcached.MemcachedProtocol
redis=com.alibaba.dubbo.rpc.protocol.redis.RedisProtocol
rest=com.alibaba.dubbo.rpc.protocol.rest.RestProtocol
registry=com.alibaba.dubbo.registry.integration.RegistryProtocol
qos=com.alibaba.dubbo.qos.protocol.QosProtocolWrapper

RegistryProtocolDubboProtocol在初始化的时候,就会被这3个包装类逐个包装。

看下Protocol模块的类图

Protocol

上图类有点多,不过结果很清晰。看下Protocol的5个子类,分别是

AbstractProtocol(具体协议实现类都在这个分支上)

ProtocolFilterWrapperProtocolListenerWrapperQosProtocolWrapper(三个包装类)

RegistryProtocol(这个比较特殊,它算是协议模块的适配器,dubbo服务导出和引入里面有详细说明)

仔细分析结构之后会发现,Protocol模块并不复杂。

2.开发者自定义的扩展应该是可以写到META-INF/services/或者META-INF/dubbo/的任意目录下的。

private Map<String, Class<?>> loadExtensionClasses() {
    final SPI defaultAnnotation = type.getAnnotation(SPI.class);
    if (defaultAnnotation != null) {
        String value = defaultAnnotation.value();
        if ((value = value.trim()).length() > 0) {
            String[] names = NAME_SEPARATOR.split(value);
            if (names.length > 1) {
                throw new IllegalStateException("more than 1 default extension name on extension " + type.getName()
                        + ": " + Arrays.toString(names));
            }
            if (names.length == 1) cachedDefaultName = names[0];
        }
    }

    Map<String, Class<?>> extensionClasses = new HashMap<String, Class<?>>();
    loadDirectory(extensionClasses, DUBBO_INTERNAL_DIRECTORY);
    loadDirectory(extensionClasses, DUBBO_DIRECTORY);
    loadDirectory(extensionClasses, SERVICES_DIRECTORY);
    return extensionClasses;
}

从这边可以看到loadDirectory的过程,对这3个目录有优先级区分,但没有任何区别对待。

总结

ExtensionLoaderDubbo的核心,算是地基。

Adaptive自适应扩展机制非常重要。分为类的适配器和方法适配器,ExtensionFactoryCompiler属于类的适配器。其他的@Adaptive都加在了接口的方法上。只要某个接口的一个方法上加了@Adaptive注解,在注入时就会被注入一个动态生成的类。在runtime运行时会根据URL当时的配置信息,抽取出对应的name,然后通过ExtensionLoader.getExtension方法动态获取对应的具体实现。实际上就是策略模式的运用。文中已经重点强调,这部分非常重要。重要的事情要说三遍。。。

重点关注下Protocol上的exportrefer