Dubbo需要关注的调优参数与线程模型

560 阅读19分钟

一、dubbo需要关注的调整参数

cn.dubbo.apache.org/zh-cn/overv…

可以搜索性能调优来查询这块的参数

配置概述

组件名称描述范围是否必须配置
application指定应用名等应用级别相关信息一个应用内只允许出现一个必选
service声明普通接口或实现类为 Dubbo 服务一个应用内可以有 0 到多个 serviceservice/reference 至少一种
reference声明普通接口为 Dubbo 服务一个应用内可以有 0 到多个 referenceservice/reference 至少一种
protocol要暴露的 RPC 协议及相关配置如端口号等一个应用可配置多个,一个 protocol 可作用于一组 service&reference可选,默认 dubbo
registry注册中心类型、地址及相关配置一个应用内可配置多个,一个 registry 可作用于一组 service&reference必选
config-center配置中心类型、地址及相关配置一个应用内可配置多个,所有服务共享可选
metadata-report元数据中心类型、地址及相关配置一个应用内可配置多个,所有服务共享可选
consumerreference 间共享的默认配置一个应用内可配置多个,一个 consumer 可作用于一组 reference可选
providerservice 间共享的默认配置一个应用内可配置多个,一个 provider 可作用于一组 service可选
monitor监控系统类型及地址一个应用内只允许配置一个可选
metrics数据采集模块相关配置一个应用内只允许配置一个可选
sslssl/tls 安全链接相关的证书等配置一个应用内只允许配置一个可选
method指定方法级的配置service 和 reference 的子配置可选
argument某个方法的参数配置method的子配置可选

image.png

service 与 reference

servicereference 是 Dubbo 最基础的两个配置项,它们用来将某个指定的接口或实现类注册为 Dubbo 服务,并通过配置项控制服务的行为。

  • service 用于服务提供者端,通过 service 配置的接口和实现类将被定义为标准的 Dubbo 服务,从而实现对外提供 RPC 请求服务。
  • reference 用于服务消费者端,通过 reference 配置的接口将被定义为标准的 Dubbo 服务,生成的 proxy 可发起对远端的 RPC 请求。

一个应用中可以配置任意多个 servicereference

consumer 与 provider

  • 当应用内有多个 reference 配置时,consumer 指定了这些 reference 共享的默认值,如共享的超时时间等以简化繁琐的配置,如某个 reference 中单独设置了配置项值则该 reference 中的配置优先级更高。
  • 当应用内有多个 service 配置时,provider 指定了这些 service 共享的默认值,如某个 service 中单独设置了配置项值则该 service 中的配置优先级更高。

consumer 组件还可以对 reference 进行虚拟分组,不通分组下的 reference 可有不同的 consumer 默认值设定;如在 XML 格式配置中,<dubbo:reference /> 标签可通过嵌套在 <dubbo:consumer /> 标签之中实现分组。provider 与 service 之间也可以实现相同的效果。

config唯一配置冲突读取模式

config-mode

背景

在每个dubbo应用中某些种类的配置类实例只能出现一次(比如ApplicationConfigMonitorConfigMetricsConfigSslConfigModuleConfig),有些能出现多次(比如RegistryConfigProtocolConfig等)。

如果应用程序意外的扫描到了多个唯一配置类实例(比如用户在一个dubbo应用中错误了配置了两个ApplicationConfig),应该以哪种策略来处理这种情况呢?是直接抛异常?是保留前者忽略后者?是忽略前者保留后者?还是允许某一种形式的并存(比如后者的属性覆盖到前者上)?

目前dubbo中的唯一配置类类型和以及某唯一配置类型找到多个实例允许的配置模式/策略如下。

唯一配置类类型

ApplicationConfigMonitorConfigMetricsConfigSslConfigModuleConfig

前四个属于应用级别的,最后一个属于模块级别的。

配置模式

  • strict:严格模式。直接抛异常。
  • override:覆盖模式。忽略前者保留后者。
  • ignore:忽略模式。忽略后者保留前者。
  • override_all:属性覆盖模式。不管前者的属性值是否为空,都将后者的属性覆盖/设置到前者上。
  • override_if_absent:若不存在则属性覆盖模式。只有前者对应属性值为空,才将后者的属性覆盖/设置到前者上。

注:后两种还影响配置实例的属性覆盖。因为dubbo有多种配置方式,即存在多个配置源,配置源也有优先级。比如通过xml方式配置了一个ServiceConfig且指定属性version=1.0.0,同时我们又在外部配置(配置中心)中配置了dubbo.service.{interface}.version=2.0.0,在没有引入config-mode配置项之前,按照原有的配置源优先级,最终实例的version=2.0.0。但是引入了config-mode配置项之后,配置优先级规则也不再那么严格,即如果指定config-mode为override_all则为version=2.0.0,如果config-mode为override_if_absent则为version=1.0.0config-mode为其他值则遵循原有配置优先级进行属性设值/覆盖。

配置方式

配置的key为dubbo.config.mode,配置的值为如上描述的几种,默认的策略值为strict。下面展示了配置示例

# JVM -D
-Ddubbo.config.mode=strict

# 环境变量
DUBBO_CONFIG_MODE=strict

# 外部配置(配置中心)、Spring应用的Environment、dubbo.properties
dubbo.config.mode=strict

属性覆盖优先级

发生属性覆盖可能有两种情况,并且二者可能是会同时发生的:

  1. 不同配置源配置了相同的配置项
  2. 相同配置源,但在不同层次指定了相同的配置项

3.2.1 不同配置源

image.png

3.2.1 相同配置源

#1. 指定id的实例级配置
dubbo.{config-type}s.{config-id}.{config-item}={config-item-value}

#2. 指定name的实例级配置
dubbo.{config-type}s.{config-name}.{config-item}={config-item-value}

#3. 应用级配置(单数配置)
dubbo.{config-type}.{config-item}={config-item-value}

属性覆盖处理流程:

配置选项

application

每个应用必须要有且只有一个 application 配置

对应的配置类:org.apache.dubbo.config.ApplicationConfig

属性对应URL参数类型是否必填缺省值作用描述兼容性
dumpDirectorydump.directorystring可选服务治理当进程出问题如线程池满时,框架自动dump文件的存储路径2.7.0以上版本
qosEnableqos.enableboolean可选服务治理是否启用 qos 运维端口2.7.0以上版本
qosHostqos.hoststring可选服务治理监听的网络接口地址,默认 0.0.0.02.7.3以上版本
qosPortqos.portint可选服务治理监听的网络端口2.7.0以上版本
qosAcceptForeignIpqos.accept.foreign.ipboolean可选服务治理安全配置,是否接收除localhost本机访问之外的外部请求2.7.0以上版本
shutwaitdubbo.service.shutdown.waitstring可选服务治理优雅停机时 shutdown 的等待时间(ms)2.7.0以上版本
registerConsumerregisterConsumerboolean可选true服务治理是否注册实例到注册中心。当时实例为纯消费者时才设置为false2.7.5以上版本
enableFileCachefile.cacheboolean可选true服务治理是否开启本地缓存3.0.0以上版本

service

服务提供者暴露服务配置。

对应的配置类:org.apache.dubbo.config.ServiceConfig

属性对应URL参数类型是否必填缺省值作用描述兼容性
timeouttimeoutint可选1000性能调优远程服务调用超时时间(毫秒)2.0.0以上版本
retriesretriesint可选2性能调优远程服务调用重试次数,不包括第一次调用,不需要重试请设为02.0.0以上版本
connectionsconnectionsint可选100性能调优对每个提供者的最大连接数,rmi、http、hessian等短连接协议表示限制连接数,dubbo等长连接协表示建立的长连接个数2.0.0以上版本
loadbalanceloadbalancestring可选random性能调优负载均衡策略,可选值:
* random - 随机;
* roundrobin - 轮询;
* leastactive - 最少活跃调用;
* consistenthash - 哈希一致 (2.1.0以上版本);
* shortestresponse - 最短响应 (2.7.7以上版本);
2.0.0以上版本
asyncasyncboolean可选false性能调优是否缺省异步执行,不可靠异步,只是忽略返回值,不阻塞执行线程2.0.0以上版本
registrystring可选缺省向所有registry注册配置关联向指定注册中心注册,在多个注册中心时使用,值为<dubbo:registry>的id属性,多个注册中心ID用逗号分隔,如果不想将该服务注册到任何registry,可将值设为N/A2.0.0以上版本
deprecateddeprecatedboolean可选false服务治理服务是否过时,如果设为true,消费方引用时将打印服务过时警告error日志2.0.5以上版本
accesslogaccesslogstring/boolean可选false服务治理设为true,将向logger中输出访问日志,也可填写访问日志文件路径,直接把访问日志输出到指定文件2.0.5以上版本
documentdocumentstring可选服务治理服务文档URL2.0.5以上版本
weightweightint可选性能调优服务权重2.0.5以上版本
executesexecutesint可选0性能调优服务提供者每服务每方法最大可并行执行请求数2.0.5以上版本
activesactivesint可选0性能调优每服务消费者每服务每方法最大并发调用数2.0.5以上版本
clusterclusterstring可选failover性能调优集群方式,可选:failover/failfast/failsafe/failback/forking/available/mergeable(2.1.0以上版本)/broadcast(2.1.0以上版本)/zone-aware(2.7.5以上版本)2.0.5以上版本
filterservice.filterstring可选default性能调优服务提供方远程调用过程拦截器名称,多个名称用逗号分隔2.0.5以上版本
listenerexporter.listenerstring可选default性能调优服务提供方导出服务监听器名称,多个名称用逗号分隔
protocolstring可选配置关联使用指定的协议暴露服务,在多协议时使用,值为<dubbo:protocol>的id属性,多个协议ID用逗号分隔2.0.5以上版本
registerregisterboolean可选true服务治理该协议的服务是否注册到注册中心2.0.8以上版本
parametersMap<string, string>可选服务治理扩展预留,可扩展定义任意参数,所有扩展参数都将原样反映在 URL 配置上2.0.0以上版本

reference

服务消费者引用服务配置。

对应的配置类: org.apache.dubbo.config.ReferenceConfig

属性对应URL参数类型是否必填缺省值作用描述兼容性
timeouttimeoutlong可选缺省使用<dubbo:consumer>的timeout性能调优服务方法调用超时时间(毫秒)1.0.5以上版本
retriesretriesint可选缺省使用<dubbo:consumer>的retries性能调优远程服务调用重试次数,不包括第一次调用,不需要重试请设为02.0.0以上版本
connectionsconnectionsint可选缺省使用<dubbo:consumer>的connections性能调优对每个提供者的最大连接数,rmi、http、hessian等短连接协议表示限制连接数,dubbo等长连接协表示建立的长连接个数2.0.0以上版本
loadbalanceloadbalancestring可选缺省使用<dubbo:consumer>的loadbalance性能调优负载均衡策略,可选值:
* random - 随机;
* roundrobin - 轮询;
* leastactive - 最少活跃调用;
* consistenthash - 哈希一致 (2.1.0以上版本);
* shortestresponse - 最短响应 (2.7.7以上版本);
2.0.0以上版本
asyncasyncboolean可选缺省使用<dubbo:consumer>的async性能调优是否异步执行,不可靠异步,只是忽略返回值,不阻塞执行线程2.0.0以上版本
checkcheckboolean可选缺省使用<dubbo:consumer>的check服务治理启动时检查提供者是否存在,true报错,false忽略2.0.0以上版本
urlurlstring可选服务治理点对点直连服务提供者地址,将绕过注册中心 url="dubbo://10.123.123.999:90101?serialization=protostuff1.0.6以上版本
cachecachestring/boolean可选服务治理以调用参数为key,缓存返回结果,可选:lru, threadlocal, jcache等Dubbo2.1.0及其以上版本支持
registrystring可选缺省将从所有注册中心获服务列表后合并结果配置关联从指定注册中心注册获取服务列表,在多个注册中心时使用,值为<dubbo:registry>的id属性,多个注册中心ID用逗号分隔2.0.0以上版本
activesactivesint可选0性能调优每服务消费者每服务每方法最大并发调用数2.0.5以上版本
clusterclusterstring可选failover性能调优集群方式,可选:failover/failfast/failsafe/failback/forking/available/mergeable(2.1.0以上版本)/broadcast(2.1.0以上版本)/zone-aware(2.7.5以上版本)2.0.5以上版本
connectionsconnectionsint可选100性能调优对每个提供者的最大连接数,rmi、http、hessian等短连接协议表示限制连接数,dubbo等长连接协表示建立的长连接个数2.0.0以上版本
filterreference.filterstring可选default性能调优服务消费方远程调用过程拦截器名称,多个名称用逗号分隔2.0.5以上版本
listenerinvoker.listenerstring可选default性能调优服务消费方引用服务监听器名称,多个名称用逗号分隔2.0.5以上版本

registry

注册中心配置。

对应的配置类: org.apache.dubbo.config.RegistryConfig。同时如果有多个不同的注册中心,可以声明多个 <dubbo:registry> 标签,并在 <dubbo:service><dubbo:reference>registry 属性指定使用的注册中心。

属性对应URL参数类型是否必填缺省值作用描述兼容性
protocol<protocol>string可选dubbo服务发现注册中心地址协议,支持dubbo, multicast, zookeeper, redis, consul(2.7.1), sofa(2.7.2), etcd(2.7.2), nacos(2.7.2)等协议2.0.0以上版本
timeoutregistry.timeoutint可选5000性能调优注册中心请求超时时间(毫秒)2.0.0以上版本
sessionregistry.sessionint可选60000性能调优注册中心会话超时时间(毫秒),用于检测提供者非正常断线后的脏数据,比如用心跳检测的实现,此时间就是心跳间隔,不同注册中心实现不一样。2.1.0以上版本
fileregistry.filestring可选服务治理使用文件缓存注册中心地址列表及服务提供者列表,应用重启时将基于此文件恢复,注意:两个注册中心不能使用同一文件存储2.0.0以上版本
waitregistry.waitint可选0性能调优停止时等待通知完成时间(毫秒)2.0.0以上版本
checkcheckboolean可选true服务治理注册中心不存在时,是否报错2.0.0以上版本
registerregisterboolean可选true服务治理是否向此注册中心注册服务,如果设为false,将只订阅,不注册2.0.5以上版本
subscribesubscribeboolean可选true服务治理是否向此注册中心订阅服务,如果设为false,将只注册,不订阅2.0.5以上版本
versionversionstring可选服务发现服务版本1.0.0以上版本
preferredpreferredboolean可选服务治理是否作为首选注册中心。当订阅多注册中心时,如果设为true,该注册中心作为首选2.7.5以上版本
weightweightint可选性能调优注册流量权重。使用多注册中心时,可通过该值调整注册流量的分布,当设置首选注册中心时该值不生效2.7.5以上版本
registerModeregister-modestring可选all服务治理控制地址注册行为,应用级服务发现迁移用。
* instance 只注册应用级地址;
* interface 只注册接口级地址;
* all(默认) 同时注册应用级和接口级地址;
3.0.0以上版本

protocol

服务提供者协议配置。

对应的配置类: org.apache.dubbo.config.ProtocolConfig。同时,如果需要支持多协议,可以声明多个 <dubbo:protocol> 标签,并在 <dubbo:service> 中通过 protocol 属性指定使用的协议。

属性对应URL参数类型是否必填缺省值作用描述兼容性
threadpoolthreadpoolstring可选fixed性能调优线程池类型,可选:fixed/cached/limit(2.5.3以上)/eager(2.6.x以上)2.0.5以上版本
threadsthreadsint可选200性能调优服务线程池大小(固定大小)2.0.5以上版本
corethreadscorethreadsint可选200性能调优线程池核心线程大小2.0.5以上版本
iothreadsthreadsint可选cpu个数+1性能调优io线程池大小(固定大小)2.0.5以上版本
acceptsacceptsint可选0性能调优服务提供方最大可接受连接数2.0.5以上版本
payloadpayloadint可选8388608(=8M)性能调优请求及响应数据包大小限制,单位:字节2.0.5以上版本
serializationserializationstring可选dubbo协议缺省为hessian2,rmi协议缺省为java,http协议缺省为json性能调优协议序列化方式,当协议支持多种序列化方式时使用,比如:dubbo协议的dubbo,hessian2,java,compactedjava,以及http协议的json等2.0.5以上版本
accesslogaccesslogstring/boolean可选服务治理设为true,将向logger中输出访问日志,也可填写访问日志文件路径,直接把访问日志输出到指定文件2.0.5以上版本
dispatcherdispatcherstring可选dubbo协议缺省为all性能调优协议的消息派发方式,用于指定线程模型,比如:dubbo协议的all, direct, message, execution, connection等2.1.0以上版本
queuesqueuesint可选0性能调优线程池队列大小,当线程池满时,排队等待执行的队列大小,建议不要设置,当线程池满时应立即失败,重试其它服务提供机器,而不是排队,除非有特殊需求。2.0.5以上版本
charsetcharsetstring可选UTF-8性能调优序列化编码2.0.5以上版本
bufferbufferint可选8192性能调优网络读写缓冲区大小2.0.5以上版本
heartbeatheartbeatint可选0性能调优心跳间隔,对于长连接,当物理层断开时,比如拔网线,TCP的FIN消息来不及发送,对方收不到断开事件,此时需要心跳来帮助检查连接是否已断开2.0.10以上版本
telnettelnetstring可选服务治理所支持的telnet命令,多个命令用逗号分隔2.0.5以上版本
registerregisterboolean可选true服务治理该协议的服务是否注册到注册中心2.0.8以上版本
contextpathcontextpathString可选缺省为空串服务治理上下文路径2.0.6以上版本
sslEnabledssl-enabledboolean可选false服务治理是否启用ssl2.7.5以上版本
parametersparametersMap<string, string>可选扩展参数2.0.0以上版本

method

方法级配置。

对应的配置类: org.apache.dubbo.config.MethodConfig。同时该标签为 servicereference 的子标签,用于控制到方法级。

比如:

<dubbo:reference interface="com.xxx.XxxService">
   <dubbo:method name="findXxx" timeout="3000" retries="2" />
</dubbo:reference>
属性对应URL参数类型是否必填缺省值作用描述兼容性
namestring必填标识方法名1.0.8以上版本
timeout<methodName>.timeoutint可选缺省为的timeout性能调优方法调用超时时间(毫秒)1.0.8以上版本
retries<methodName>.retriesint可选缺省为<dubbo:reference>的retries性能调优远程服务调用重试次数,不包括第一次调用,不需要重试请设为02.0.0以上版本
loadbalance<methodName>.loadbalancestring可选缺省为的loadbalance性能调优负载均衡策略,可选值:
* random - 随机;
* roundrobin - 轮询;
* leastactive - 最少活跃调用;
* consistenthash - 哈希一致 (2.1.0以上版本);
* shortestresponse - 最短响应 (2.7.7以上版本);
2.0.0以上版本
async<methodName>.asyncboolean可选缺省为<dubbo:reference>的async性能调优是否异步执行,不可靠异步,只是忽略返回值,不阻塞执行线程1.0.9以上版本
sent<methodName>.sentboolean可选true性能调优异步调用时,标记sent=true时,表示网络已发出数据2.0.6以上版本
actives<methodName>.activesint可选0性能调优每服务消费者最大并发调用限制2.0.5以上版本
executes<methodName>.executesint可选0性能调优每服务每方法最大使用线程数限制- -,此属性只在<dubbo:method>作为<dubbo:service>子标签时有效2.0.5以上版本
deprecated<methodName>.deprecatedboolean可选false服务治理服务方法是否过时,此属性只在<dubbo:method>作为<dubbo:service>子标签时有效2.0.5以上版本
sticky<methodName>.stickyboolean可选false服务治理设置true 该接口上的所有方法使用同一个provider.如果需要更复杂的规则,请使用路由2.0.6以上版本
return<methodName>.returnboolean可选true性能调优方法调用是否需要返回值,async设置为true时才生效,如果设置为true,则返回future,或回调onreturn等方法,如果设置为false,则请求发送成功后直接返回Null2.0.6以上版本
oninvokeattribute属性,不在URL中体现String可选性能调优实例执行前拦截2.0.6以上版本
onreturnattribute属性,不在URL中体现String可选性能调优实例执行返回后拦截2.0.6以上版本
onthrowattribute属性,不在URL中体现String可选性能调优实例执行有异常拦截2.0.6以上版本
oninvokeMethodattribute属性,不在URL中体现String可选性能调优方法执行前拦截2.0.6以上版本
onreturnMethodattribute属性,不在URL中体现String可选性能调优方法执行返回后拦截2.0.6以上版本
onthrowMethodattribute属性,不在URL中体现String可选性能调优方法执行有异常拦截2.0.6以上版本
cache<methodName>.cachestring/boolean可选服务治理以调用参数为key,缓存返回结果,可选:lru, threadlocal, jcache等2.1.0以上版本
validation<methodName>.validationboolean可选服务治理是否启用JSR303标准注解验证,如果启用,将对方法参数上的注解进行校验2.1.0以上版本

parameter

选项参数配置。

对应的配置类:java.util.Map。同时该标签为 protocolserviceproviderreferenceconsumermonitorregistrymetadata-configconfig-center 的子标签,用于配置自定义参数,该配置项将作为扩展点设置自定义参数使用。

比如:

<dubbo:protocol name="napoli">
   <dubbo:parameter key="http://10.20.160.198/wiki/display/dubbo/napoli.queue.name" value="xxx" />
</dubbo:protocol>

或:

<dubbo:protocol name="jms" p:queue="xxx" />
属性对应URL参数类型是否必填缺省值作用描述兼容性
keykeystring必填服务治理路由参数键2.0.0以上版本
valuevaluestring必填服务治理路由参数值2.0.0以上版本

二、关于dubbo线程池和线程模型的选择调优

dubbo协议下的服务端线程模型:blog.csdn.net/qq_31279701…

dubbo的4种线程池:juejin.cn/post/724407…

dispatcher: cn.dubbo.apache.org/zh-cn/overv…

cn.dubbo.apache.org/zh-cn/docs/…