开发者社区 > 云原生 > 正文

云原生 AI 套件使用arena 可以启动这些模型嘛?

云原生 AI 套件使用arena 可以启动这些模型嘛?lALPM5HioGrsZx_NAoDNBMw_1228_640.png

展开
收起
三分钟热度的鱼 2024-07-17 23:36:42 25 0
1 条回答
写回答
取消 提交回答
  • 应该是可以的,可以参考上面的文档改一下模型和启动配置,用vllm 0.5.1版本镜像就行。 此回答整理自钉群“云原生AI套件客户交流群”

    2024-07-18 08:53:32
    赞同 1 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
2023云栖大会:PolarDB for AI 立即下载
2023云栖大会:Lindorm一站式AI数据平台实战 立即下载
释放算力潜能加速应用构建Serverless为AI创新提速 立即下载