备案控制台

游客m2lj7buvcckm6_个人页

游客m2lj7buvcckm6

文章

1

问答

0

视频

0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力

通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明

文章
问答
视频

发表了文章 2024-06-16

ray集群部署vllm的折磨

概括如下：在构建一个兼容多种LLM推理框架的平台时，开发者选择了Ray分布式框架，以解决资源管理和适配问题。然而，在尝试集成vllm时遇到挑战，因为vllm内部自管理Ray集群，与原有设计冲突。经过一系列尝试，包括调整资源分配、修改vllm源码和利用Ray部署的`placement_group_bundles`特性，最终实现了兼容，但依赖于非官方支持的解决方案。在面对vllm新版本和Ray部署的`reconfigure`方法问题时，又需权衡和调整实现方式。尽管面临困难，开发者认为使用Ray作为统一底层仍具有潜力。

暂无更多信息

发表了文章 2024-06-16

ray集群部署vllm的折磨

正在加载, 请稍后...

滑动查看更多

正在加载, 请稍后...

暂无更多信息

正在加载, 请稍后...

暂无更多信息