开发者社区> 问答> 正文

如何使用Spring Boot @RestController流式处理分块的响应

我花了整整一天的时间,却找不到有效的解决方案。在我们的应用程序中,我们有两个可以返回较大响应的端点。我一直在尝试找到一种机制,该机制可让我们在处理数据库查询结果时流式传输响应。主要目标是限制服务端的峰值内存使用量(不需要内存中的整个响应),并最大程度地缩短响应的第一个字节的时间(如果响应未开始进入响应范围,则客户端系统会超时)指定时间-10分钟)。我真的很惊讶这是如此困难。

我找到了StreamingResponseBody,它似乎很接近我们想要的内容,尽管我们实际上并不需要异步方面,但是我们只希望能够在处理查询结果时开始流式传输响应。我也尝试了其他方法,例如使用@ResponseBody进行批注,返回void并添加OutputStream的参数,但这没有用,因为传递的OutputStream基本上只是缓冲整个结果的CachingOutputStream。这就是我现在所拥有的...

资源方法:

@GetMapping(value = "/catalog/features")
public StreamingResponseBody findFeatures(                                      
        @RequestParam("provider-name") String providerName,
        @RequestParam(name = "category", required = false) String category,
        @RequestParam("date") String date,
        @RequestParam(value = "version-state", defaultValue = "*") String versionState) {

    CatalogVersionState catalogVersionState = getCatalogVersionState(versionState);

    log.info("GET - Starting DB query...");
    final List<Feature> features 
        = featureService.findFeatures(providerName, 
                                      category, 
                                      ZonedDateTime.parse(date), 
                                      catalogVersionState);
    log.info("GET - Query done!");

    return new StreamingResponseBody() {
        @Override
        public void writeTo(OutputStream outputStream) throws IOException {
            log.info("GET - Transforming DTOs");
            JsonFactory jsonFactory = new JsonFactory();
            JsonGenerator jsonGenerator = jsonFactory.createGenerator(outputStream);
            Map<Class<?>, JsonSerializer<?>> serializerMap = new HashMap<>();
            serializerMap.put(DetailDataWrapper.class, new DetailDataWrapperSerializer());
            serializerMap.put(ZonedDateTime.class, new ZonedDateTimeSerializer());
            ObjectMapper jsonMapper =  Jackson2ObjectMapperBuilder.json()
                .serializersByType(serializerMap)
                .deserializerByType(ZonedDateTime.class, new ZonedDateTimeDeserializer())
                .build();
            jsonGenerator.writeStartArray();
            for (Feature feature : features) {
                FeatureDto dto = FeatureMapper.MAPPER.featureToFeatureDto(feature);
                jsonMapper.writeValue(jsonGenerator, dto);
                jsonGenerator.flush();
            }
            jsonGenerator.writeEndArray();
            log.info("GET - DTO transformation done!");
        }
    };

} 异步配置:

@Configuration
@EnableAsync
@EnableScheduling
public class ProductCatalogStreamingConfig extends WebMvcConfigurerAdapter {

    private final Logger log = LoggerFactory.getLogger(ProductCatalogStreamingConfig.class);

    @Override
    public void configureAsyncSupport(AsyncSupportConfigurer configurer) {
        configurer.setDefaultTimeout(360000).setTaskExecutor(getAsyncExecutor());
        configurer.registerCallableInterceptors(callableProcessingInterceptor());
    }

    @Bean(name = "taskExecutor")
    public AsyncTaskExecutor getAsyncExecutor() {
        log.debug("Creating Async Task Executor");
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(2);
        executor.setMaxPoolSize(5);
        executor.setQueueCapacity(25);
        executor.setThreadNamePrefix("AsyncStreaming-");
        return executor;
    }

    @Bean
    public CallableProcessingInterceptor callableProcessingInterceptor() {
        return new TimeoutCallableProcessingInterceptor() {
            @Override
            public <T> Object handleTimeout(NativeWebRequest request, Callable<T> task) throws 
Exception {
                log.error("timeout!");
                return super.handleTimeout(request, task);
            }
        };
    }
}

我期望客户端将在调用StreamingResponseBody.writeTo()后立即开始查看响应,并且响应头将包括

Content-Encoding: chunked

但不是

Content-Length: xxxx

相反,在StreamingResponseBody.writeTo()返回并且响应包括Content-Length之前,我在客户端看不到任何响应。(但不是内容编码)

我的问题是,告诉Spring在writeTo()中写入OutputStream时不发送整个负载并仅在最后发送时,告诉Spring发送分块响应的秘诀是什么?具有讽刺意味的是,我发现了一些帖子,它们想知道如何禁用分块编码,但是与启用它无关。

展开
收起
垚tutu 2019-12-12 09:33:07 2572 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
云栖社区特邀专家徐雷Java Spring Boot开发实战系列课程(第20讲):经典面试题与阿里等名企内部招聘求职面试技巧 立即下载
微服务架构模式与原理Spring Cloud开发实战 立即下载
阿里特邀专家徐雷Java Spring Boot开发实战系列课程(第18讲):制作Java Docker镜像与推送到DockerHub和阿里云Docker仓库 立即下载

相关实验场景

更多