我花了整整一天的时间,却找不到有效的解决方案。在我们的应用程序中,我们有两个可以返回较大响应的端点。我一直在尝试找到一种机制,该机制可让我们在处理数据库查询结果时流式传输响应。主要目标是限制服务端的峰值内存使用量(不需要内存中的整个响应),并最大程度地缩短响应的第一个字节的时间(如果响应未开始进入响应范围,则客户端系统会超时)指定时间-10分钟)。我真的很惊讶这是如此困难。
我找到了StreamingResponseBody,它似乎很接近我们想要的内容,尽管我们实际上并不需要异步方面,但是我们只希望能够在处理查询结果时开始流式传输响应。我也尝试了其他方法,例如使用@ResponseBody进行批注,返回void并添加OutputStream的参数,但这没有用,因为传递的OutputStream基本上只是缓冲整个结果的CachingOutputStream。这就是我现在所拥有的...
资源方法:
@GetMapping(value = "/catalog/features")
public StreamingResponseBody findFeatures(
@RequestParam("provider-name") String providerName,
@RequestParam(name = "category", required = false) String category,
@RequestParam("date") String date,
@RequestParam(value = "version-state", defaultValue = "*") String versionState) {
CatalogVersionState catalogVersionState = getCatalogVersionState(versionState);
log.info("GET - Starting DB query...");
final List<Feature> features
= featureService.findFeatures(providerName,
category,
ZonedDateTime.parse(date),
catalogVersionState);
log.info("GET - Query done!");
return new StreamingResponseBody() {
@Override
public void writeTo(OutputStream outputStream) throws IOException {
log.info("GET - Transforming DTOs");
JsonFactory jsonFactory = new JsonFactory();
JsonGenerator jsonGenerator = jsonFactory.createGenerator(outputStream);
Map<Class<?>, JsonSerializer<?>> serializerMap = new HashMap<>();
serializerMap.put(DetailDataWrapper.class, new DetailDataWrapperSerializer());
serializerMap.put(ZonedDateTime.class, new ZonedDateTimeSerializer());
ObjectMapper jsonMapper = Jackson2ObjectMapperBuilder.json()
.serializersByType(serializerMap)
.deserializerByType(ZonedDateTime.class, new ZonedDateTimeDeserializer())
.build();
jsonGenerator.writeStartArray();
for (Feature feature : features) {
FeatureDto dto = FeatureMapper.MAPPER.featureToFeatureDto(feature);
jsonMapper.writeValue(jsonGenerator, dto);
jsonGenerator.flush();
}
jsonGenerator.writeEndArray();
log.info("GET - DTO transformation done!");
}
};
} 异步配置:
@Configuration
@EnableAsync
@EnableScheduling
public class ProductCatalogStreamingConfig extends WebMvcConfigurerAdapter {
private final Logger log = LoggerFactory.getLogger(ProductCatalogStreamingConfig.class);
@Override
public void configureAsyncSupport(AsyncSupportConfigurer configurer) {
configurer.setDefaultTimeout(360000).setTaskExecutor(getAsyncExecutor());
configurer.registerCallableInterceptors(callableProcessingInterceptor());
}
@Bean(name = "taskExecutor")
public AsyncTaskExecutor getAsyncExecutor() {
log.debug("Creating Async Task Executor");
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
executor.setCorePoolSize(2);
executor.setMaxPoolSize(5);
executor.setQueueCapacity(25);
executor.setThreadNamePrefix("AsyncStreaming-");
return executor;
}
@Bean
public CallableProcessingInterceptor callableProcessingInterceptor() {
return new TimeoutCallableProcessingInterceptor() {
@Override
public <T> Object handleTimeout(NativeWebRequest request, Callable<T> task) throws
Exception {
log.error("timeout!");
return super.handleTimeout(request, task);
}
};
}
}
我期望客户端将在调用StreamingResponseBody.writeTo()后立即开始查看响应,并且响应头将包括
Content-Encoding: chunked
但不是
Content-Length: xxxx
相反,在StreamingResponseBody.writeTo()返回并且响应包括Content-Length之前,我在客户端看不到任何响应。(但不是内容编码)
我的问题是,告诉Spring在writeTo()中写入OutputStream时不发送整个负载并仅在最后发送时,告诉Spring发送分块响应的秘诀是什么?具有讽刺意味的是,我发现了一些帖子,它们想知道如何禁用分块编码,但是与启用它无关。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。