cpu（gpu）资源消耗过高，无法支撑并发推理

ModelScope主要展示是模型本身，以模型的功能、背后的算法、精度等为主要。您提到的并发问题，实际是将模型变成一个推理服务（通常以API的形式提供）时所要重点考虑的。假设给定模型本身的结构不变，一个好的推理服务就是要能够考虑并发、延迟等成本体验指标。这里有一些通用的手段是一般会考虑的，包括提高单线程效率（例如优化合并模型的图结构，优化向量运算至矩阵预算并使用更好的矩阵库）、充分利用多线程（例如使用线程池来并行处理多并发、分拆模型只读内存和推理中间过程的动态内存）等手段。最极致的优化甚至可以做到手撸AVX intrinsics的地步。阿里云公共云智能语音交互的语音识别、语音合成API，其背后的核心引擎就是用上述这些手段来优化并发的。