游客m2lj7buvcckm6_个人页

2024年06月

• 06.16 16:16:03
  发表了文章 2024-06-16 16:16:03

  ray集群部署vllm的折磨

  概括如下： 在构建一个兼容多种LLM推理框架的平台时，开发者选择了Ray分布式框架，以解决资源管理和适配问题。然而，在尝试集成vllm时遇到挑战，因为vllm内部自管理Ray集群，与原有设计冲突。经过一系列尝试，包括调整资源分配、修改vllm源码和利用Ray部署的`placement_group_bundles`特性，最终实现了兼容，但依赖于非官方支持的解决方案。在面对vllm新版本和Ray部署的`reconfigure`方法问题时，又需权衡和调整实现方式。尽管面临困难，开发者认为使用Ray作为统一底层仍具有潜力。