Spring MVC 集成了Servlet 3.0的异步请求处理:
- controller 的方法返回
DeferredResult,Callable - controller 流式处理多个值,包括
SSE和原生数据。 - controller 使用reactive客户端,返回reactive 类型。
DeferredResult
在Servlet容器中启动异步支持之后,controller的方法可以通过DeferredResult包装返回值来支持异步处理。例如:
@GetMapping("/quotes")
@ResponseBody
public DeferredResult<String> quotes() {
DeferredResult<String> deferredResult = new DeferredResult<String>();
// Save the deferredResult somewhere..
return deferredResult;
}
// From some other thread...
deferredResult.setResult(data);
controller可以通过其他线程异步返回结果,例如:响应时间(例如JMS消息),一个调度任务或者其他类型。
Callable
java.util.Callable也可以包装任何需要异步支持的返回值。例如:
@PostMapping
public Callable<String> processUpload(final MultipartFile file) {
return new Callable<String>() {
public String call() throws Exception {
// ...
return "someView";
}
};
}
返回值由配置的TaskExecutor执行相应任务并返回结果。
处理异步请求
Servlet异步请求的处理过程如下:
- 通过调用
request.startAsync()开始异步处理。调用后Servlet,Filter等可以退出,但是响应开发,直到处理完成返回。 - 调用
request.startAsync()后返回AsyncContext,可以在后续的处理中使用AsyncContext获取各种信息。 ServletRequest提供接口访问当前的DispatcherType以便区分初始请求,异步分配,重定向或者其他DispatcherType。
DeferredResult处理过程:
- controller返回一个
DeferredResult并且将其保存到内存中的队列或者列表中。 - Spring MVC调用
request.startAsync() - 同时
DispatcherServlet,Fileter,退出请求处理线程,响应保持开放。 - 应用从线程获取值设置
DeferredResult,Spring MVC将请求发送回Servlet 容器。 - 再次调用
DispatcherServlet,获取异步返回值,恢复请求处理。
Callable 处理过程:
- controller 返回一个
Callable - Spring MVC 调用
request.startAsync(),将Callable提交到TaskExecutor处理 - 同时
DispatcherServlet,Fileter,退出请求处理线程,响应保持开放。 Callable产生结果,Spring MVC将请求发送回Servlet 容器。- 再次调用
DispatcherServlet,通过从Callable获取的返回值恢复请求处理。
异常处理
使用DeferredResult可以调用setResult或者setErrorResult来返回结果,调用这两个函数后Spring MVC都会将请求发送回Servlet 容器以完成处理。接着会检查时正常返回还是返回了异常,如果有异常返回就走一般的异常处理流程,例如:调用@ExceptionHandler方法。 使用Callable的处理流程大体相同,主要的区别是又Callable返回结果或者抛出异常。
拦截器
AsyncHandlerInterceptor可以在异步请求处理开始后接收afterConcurrentHandlingStarted的回调代替postHandle和afterCompltetion。 CallableProcessingInterceptor或者DeferredResultProcessingInterceptor深度继承异步处理请求的生命周期,例如超时处理等。
DeferredResult提供了onTimeout(Runnable)和onCompletion(Runnable)的回调。详情可以查看JavaDoc。Callable可以取代WebAsyncTask,它提供了超时和完成的回调。
与WebFlux对比
Servlet API之前是为Filter-Servlet请求处理链构建的。在Servlet 3.0 添加了异步处理后,允许应用退出Filter-Servlet请求处理链,只保留响应开放以便日后处理。Spring MVC支持的异步处理就是建立在这项技术之上的。当controller返回一个DeferredResult后,Filter-Servlet处理链退出,Servlet容器的请求线程释放。稍后DeferredResult返回结果,开始一个异步调用,重新映射到controller但是并不在调用controller,使用DeferredResult的返回值继续处理结果。
作为对比Spring WebFlux既没有使用Servlet API也不需要这样的一个异步处理模型,因为它完全是异步设计的。异步处理内置在所有的WebFlux框架中,并且支持异步处理的每一个步骤。 从编程模型来看,Spring MVC和Spring WebFlux都支持异步处理和返回Reactive类型。Spring MVC甚至支持流处理。然而并不想WebFlxu一样使用非阻塞IO,每次写入响应无需单独的线程,SpringMVC单独写入响应仍然是阻塞的。 另一项区别就是Spring
MVC不支持异步或者reactive类型作为函数参数。Spring WebFlux支持。
HTTP 流
DeferredResult和Callback每次只能异步返回一个值。如果要返回到个值则可以用HTTP 流。
Objects
ResponseBodyEmitter 返回值可以讲多个对象生成一个流,每个对象都通过HttpMessageConverter序列化发送,例如:
@GetMapping("/events")
public ResponseBodyEmitter handle() {
ResponseBodyEmitter emitter = new ResponseBodyEmitter();
// Save the emitter somewhere..
return emitter;
}
// In some other thread
emitter.send("Hello once");
// and again later on
emitter.send("Hello again");
// and done at some point
emitter.complete();
ResponseBodyEmitter同样也可以放入ResponseEntity,这样就可以定制响应的header和状态了。 emitter抛出IOException异常的时候(例如,远程client关闭),应用并不负责回收连接,也不会调用emitter.complete()或者emitter.completeWithError。相反,Servlet容器会自动初始化一个AsyncListener错误通知,Spring
MVC将会调用completeWithError,反过来执行异步分配,应用继续执行正常的异常处理流程。
SSE
SseEmitter是ResponseBodyEmitter的子类,提供了Server-Send Events的支持。例如:
@GetMapping(path="/events", produces=MediaType.TEXT_EVENT_STREAM_VALUE)
public SseEmitter handle() {
SseEmitter emitter = new SseEmitter();
// Save the emitter somewhere..
return emitter;
}
// In some other thread
emitter.send("Hello once");
// and again later on
emitter.send("Hello again");
// and done at some point
emitter.complete();
SSE 是将流发送到浏览器的主要方式,但是IE浏览器不支持。如果想要支持更多浏览器,可以使用Spring的SockJS。
原始数据
有时绕过消息转换,直接将流写入到响应的OutputStream更加实用,例如:下载。可以使用StreamingResponseBody作为返回值处理:
@GetMapping("/download")
public StreamingResponseBody handle() {
return new StreamingResponseBody() {
@Override
public void writeTo(OutputStream outputStream) throws IOException {
// write...
}
};
}
StreamingResponseBody也可以放入ResponseEntity中来定制响应header和状态。
Reactive 类型
Spring MVC支持在controller使用reactive client 库。包括spring-webflux中的WebClient和Spring Data 中的reactive 数据资源库。在一些场景中,从controller返回reactive类型非常的方便。 Reactive返回处理方式如下:
- 类似
DeferredResult单一值的promise,例如:Reactor的Mono,RxJava的Single。 - 类似
ResponseBodyEmitter或者SseEmitter的多值流(multi-value stream),流的媒体类型是application/stream+json或者text/event-stream。例如,Reactor的Flux,RxJava的Observable。应用可以返回Flux<ServerSentEvent>或者Observable<ServerSentEvent>。 - 同
DeferredResult<List<?>>类似的多值流(multi-value stream)其媒体类型可以是其他类型例如:application/json。
断开链接
当远程客户端断开连接时Servlet并不会发送通知。因此当向响应写入流的,不论是通过SseEmitter还是其他的reactive类型,定期发送数据很重要,因为如果客户端断开连接,写入就会失败。可以发送空的SSE事件或者其他类型的数据,客户端可以将其当作心跳处理,或者直接忽略。
配置
异步处理请求必须在Servlet容器级别开启。Spring MVC也提供了一些处理异步请求的参数。
Servlet容器配置
Filter和Servlet有一个asyncSupported的声明,如果要开启异步请求需要设置为true。另外,Filter的映射需要声明处理ASYNC javax.servlet.DispatchType。 使用Java配置:使用AbstractAnnotationConfigDispatcherServletInitializer初始化时自动配置 使用xml配置:对DispatcherServlet和Filter添加<async-supported>true</async-supported>的声明,同样需要对filter的映射添加<dispatcher>ASYNC</dispatcher>。
Spring MVC配置
SpringMVC的配置如下:
- Java配置 - 在
WebMvcConfiger配置configureAsyncSupport回调 - XML配置 - 在
<mvc:annotation-driver>后配置<async-support>可以配置如下参数: - 默认的超时事件,默认不设置,依赖于底层Servlet容器(tomcat 10s)
AsyncTaskExecutor执行reactive 类型和Callable返回值处理的线程。默认SimpleAsyncTaskExecutorDeferredResultProcessingInterceptor和CallableProcessingInterceptor
注意,默认的超时时间也可以通过DeferredResult,ResponseBodyEmitter,SseEmitter设置,对于Callable可以使用WebAsyncTask设置超时时间。