引言
在当今数据驱动的时代，多模态数据（包括文本、图像、音频、视频等多种数据类型）的处理和分析变得日益重要。通过将多模数据ETL与ML（机器学习）一体化，可以更高效地构建和优化AI流水线，从而实现从数据到智能决策的无缝转换。本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管Ray服务，解锁数仓内AI流水线潜力，实现多模数据ETL与ML的无缝集成。
01、开源Ray ：AI时代的分布式计算基石
开源 Ray 是一款专为AI与高性能计算设计的分布式计算框架，起源于UC伯克利的AMPLab，与Spark开源项目来自同一个实验室。Ray以简洁API抽象分布式调度，仅需几行代码，即可将单机任务扩展至千节点集群，像调用本地函数一样调度远程资源。内置Ray Tune、Ray Train、Ray Serve等模块，无缝兼容TensorFlow/PyTorch生态，支撑强化学习、大数据处理等场景。活跃的开源社区及Anyscale等企业支持，使其成为快速构建AI应用的利器。Ray的核心价值亮点如下：
- 统一分布式计算框架，覆盖全场景
- 异构调度：支持CPU/GPU/FPGA混合弹性调度；
- 负载能力：支持数据/AI全链路处理（数据预处理、推理/微调），Python任务分布式执行；
- 框架兼容：集成Spark、TensorFlow/PyTorch、Hugging Face等主流生态；
- 场景覆盖：多模态处理、搜索推荐、金融风控、图计算等核心业务场景。
- 动态资源调度与高效执行：弹性资源精细化调度，按需分配 CPU/GPU/内存/自定义资源；支持Arrow、TensorFlow Dataset 等高效对接，提升数据处理速度。
- 多云与大规模扩展能力：支持Kubernetes、Docker Swarm 等容器化部署，无缝使用多云资源，适合EB级超大规模数据处理和千亿参数模型处理。
02、AnalyticDB Ray：轻量化一站式Data+AI服务
开源Ray为开发者提供了高度灵活的分布式计算框架，在实际生产环境中，企业往往还面临分布式作业优化、资源精细化调度、集群运维、稳定性与高可用等问题，而这正是AnalyticDB Ray（下文简称ADB Ray）的破局之处。
ADB Ray 是AnalyticDB MySQL 推出的全托管Ray服务，基于开源 Ray 的丰富生态，经过多模态处理、具身智能、搜索推荐、金融风控等场景的锤炼，对Ray内核和服务能力进行了全栈增强。开发者的应用无需关注集群运维，快速获得ADB Ray内核带来的性价比优化，同时无缝的和ADB 湖仓平台打通构建Data + AI一体化架构，加速企业 AI 规模化落地。
以下为对比开源Ray，ADB Ray的增强核心特性总览：
[1] https://help.aliyun.com/zh/analyticdb/analyticdb-for-mysql/user-guide/managed-ray-service
异构资源自动弹性：最大化GPU资源利用率
- 流式计算模式：使用streaming的计算模式，中间数据存储在Ray object store中，解决batch模式阶段性落盘问题。
- 异构资源自动弹性：数据处理需要异构资源CPU+GPU的情况下，独立自动弹性CPU和GPU资源，最大化稀缺资源GPU的利用率。
企业级稳定高可用：Head HA 自动切换
- Head HA： 5内秒级切换，保障推理、高优任务、多租户集群稳定性。
- 元数据：元数据存储支持热备和跨地域容灾
深度可观测：开发效率提升
- 强化学习可观测：可视化监控看板实时追踪任务状态，强化学习场景支持Actor/Task级拓扑分析，问题定位效率提升80%。
03、实践应用案例
商业智能
场景：广告推家预估CRT，挖掘受众，商品需要找到对应的受众，晚上进行离线批量推理，并把预测结果给到业务方的ADB数仓表。
方案：
- AI流水线：ADB 湖 -> ADB ETL -> ADB Ray ML，保存模型
- 推理：ADB 湖 -> ADB ETL -> ADB Ray离线批量推理-> ADB 仓表 ->业务服务
收益：
- 异构资源自动扩展：离线推断场景数据处理和模型部署使用异构工作组，独立自动扩展CPU和GPU资源。GPU利用率从不到5%提高到40%。
- 对象存储自动扩展：对象存储根据数据量动态自动扩展内存，这使得数据处理性能提高了2至3倍。
LLM离线批量推理蒸馏数据
场景：大模型数据准备。
方案：使用Ray data + vLLM/SGLang 部署Qwen、Deepseek等模型进行数据蒸馏，蒸馏的数据用来做大模型的训练。
收益：
- 缓存加速：数据加载吞吐提升2-3倍；
- 调度规模：单ray cluster 4w actor细粒度任务调度；
- 精度量化：离线蒸馏场景Deepseek INT8量化版本比FP8性能提升50%。
多模态数据处理及分布式微调
场景：多模态个性化场景互动。
方案：以ADB Ray为中心，与Lance集成，利用RayData提高分布式图文数据处理效率和结构化能力；同时集成LLaMA-Factory，通过Ray提供分布式的微调Qwen-VL多模态模型的能力。
收益：
- 一站式解决方案：实现从数据标注到模型微调的一站式方案；
- 微调效率提升：llama-factory on ray分布式微调效率提升3-5倍。
了解更多
AnalyticDB Ray已于2025年5月10日正式商业化，点击官网文档可进一步了解使用详情。如果您有相关需求，可以通过官网工单直接联系我们，或填写表单留下信息，AnalyticDB团队会尽快联系您。
欢迎钉钉搜索群号：23128105 或扫码加入钉群进行交流。
