达摩院智捷_个人页
达摩院智捷
文章
0
问答
1
视频
0
个人介绍
暂无个人介绍
擅长的技术
- 微服务
- 数据库
暂无更多信息
2022年11月
-
11.25 20:27:29
回答了问题
2022-11-25 20:27:29
cpu（gpu）资源消耗过高，无法支撑并发推理
赞2 踩0 评论0
暂无更多信息
-
回答了问题
2022-11-25
cpu（gpu）资源消耗过高，无法支撑并发推理
ModelScope主要展示是模型本身，以模型的功能、背后的算法、精度等为主要。您提到的并发问题，实际是将模型变成一个推理服务（通常以API的形式提供）时所要重点考虑的。假设给定模型本身的结构不变，一个好的推理服务就是要能够考虑并发、延迟等成本体验指标。这里有一些通用的手段是一般会考虑的，包括提高单线程效率（例如优化合并模型的图结构，优化向量运算至矩阵预算并使用更好的矩阵库）、充分利用多线程（例如使用线程池来并行处理多并发、分拆模型只读内存和推理中间过程的动态内存）等手段。最极致的优化甚至可以做到手撸AVX intrinsics的地步。阿里云公共云智能语音交互的语音识别、语音合成API，其背后的核心引擎就是用上述这些手段来优化并发的。赞2 踩0 评论0
滑动查看更多
暂无更多信息