我想再了解一下model scope关于硬件资源的配置:
容器化部署和按需加载,确实在一定程度上起到了节省资源的作用,但是能够支持2w+模型给大批量的用户在线体验还是要有一定的资源储备的,就是model scope背后大概用了多少台服务器和GPU作为“资源池”来支撑呢?
这个大概是怎么判断的:比如多少个模型大概要用到多少台服务器和多大显存的GPU,有一个算法吗。还是说阿里云这边提供的支持比较丰厚,无限资源没有上限。
有老师方便解答一下硬件能力方面的支撑吗。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352