ODPS 的下一个15年,大数据将迎来春天还是寒冬?
我认为 ODPS 的未来是有巨大潜力的,但要说是“春天”还是“寒冬”,其实取决于它能不能顺应大趋势真正转型。
过去十几年,ODPS 作为阿里内部走出来的大数据平台,在资源调度、稳定性、湖仓一体架构上有非常深的技术积累,这是它的根基。特别是跟 DataWorks、MaxCompute、PAI 等产品联动,确实让很多企业的数据开发流程变得规范、高效。
但是现在的时代已经变了,大模型爆发、AI-native 的场景越来越多,大家对数据平台的期待不再只是“跑得稳”,而是要“跑得快、接得上、用得灵”。
比如: • 你不能让我在 ETL 和模型推理之间来回导数据,还得写 Glue 代码; • 你不能让我搞个向量检索还得自己用 HNSW 实现、搭 Faiss; • 你不能让我团队里搞数仓的人和搞模型的人彼此不通语言,只能靠文档和 PR 来配合。
这些问题,如果不解决,ODPS 就容易被 Snowflake、Databricks 这类“从 AI 出发”的平台赶超,毕竟人家一开始就考虑了 AI 工程化全链路。
但我也不是唱衰,我反而觉得,ODPS 真正的春天是从现在开始准备的: • 原生支持向量类型和向量索引; • 在 SQL 里就能调模型、调 prompt; • 更强的 MLOps 能力,把数据和模型团队真正拉到一个平台上; • 更开放的生态,能对接 HuggingFace、RAG 框架、异构 GPU 调度; • 再比如,数据血缘、版本、权限这些也应该和大模型开发深度集成。
只要阿里云愿意去做这些“重新定义数据平台”的动作,我觉得 ODPS 完全可以引领下一个 15 年。不是继续做“大数据平台”,而是变成智能数据操作系统。
赞12
踩0