ModelScope中,是用来企业服务,要求稳定性和并发量,所以想确定下这个配置是否可以稳定,另外并发量怎么确定
这个可以具体看一下EAS 的文档。也可以了解一下灵积dashscopehttps://help.aliyun.com/zh/dashscope/developer-reference/tongyi-qianwen-7b-14b-metering-and-billing 要服务化也可以参考模型部署与资源的配置参数和组合比较多,您可以根据具体的服务使用场景(比如输入输出长度、请求量、请求方式、目标响应时间等)选择合适的卡型和机器资源,进行一些压测,然后根据业务目标调整服务实例的个数;——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①