阿里巴巴集群追踪计划Alibaba Cluster Trace Program

简介: 在阿里巴巴集群追踪程序是由阿里巴巴集团出版。通过提供来自实际生产的集群跟踪,该计划帮助研究人员、学生和对该领域感兴趣的人更好地了解现代互联网数据中心 (IDC) 的特征和工作负载。

阿里巴巴集群追踪计划

概述

在阿里巴巴集群追踪程序是由阿里巴巴集团出版。通过提供来自实际生产的集群跟踪,该计划帮助研究人员、学生和对该领域感兴趣的人更好地了解现代互联网数据中心 (IDC) 的特征和工作负载。

到目前为止,已经发布了三个版本的trace:

  • cluster-trace-v2017在 12 小时内包含大约 1300 台机器。trace-v2017 首先介绍了在线服务(又名长时间运行的应用程序)和批处理工作负载的搭配。要查看有关此跟踪的更多信息,请参阅相关文档 ( trace_2017 )。完成简短调查后即可获得下载链接(调查链接)。
  • cluster-trace-v2018在 8 天内包含大约 4000 台机器。除了具有比 trace-v2017 更大的缩放器外,这条 trace 还包含我们生产批次工作负载的 DAG 信息。更多详情请查看相关文档(trace_2018)。调查后提供下载链接(不到一分钟,调查链接)。
  • cluster-trace-gpu-v2020在 2 个月内包含大约 6500 台机器。它描述了由阿里巴巴 PAI(人工智能平台)在 GPU 集群上提供的 MLaaS(机器学习即服务)中的 AI/ML 工作负载。查看已发布数据、数据模式和数据处理脚本和 Jupyter notebook 的子目录( pai_gpu_trace_2020 )。

我们将在接下来的几个月发布与微服务相关的 cluster-trace-v2021。这些跟踪包含所有完整调用过程的详细信息,包括微服务之间的调用依赖关系、响应时间、接口和通信范式。

我们鼓励任何人将跟踪用于学习或研究目的,如果您在使用跟踪时有任何疑问,请通过电子邮件联系我们:alibaba-clusterdata,或在 Github 上提交问题。建议提交问题,因为讨论将有助于所有社区。请注意,您提出的问题越清楚,您就越有可能得到明确的答案。

如果您能在使用我们的跟踪的任何出版物可用时告诉我们,我们将不胜感激,因为我们正在维护相关出版物的列表,以便更多的研究人员更好地相互交流。

未来,我们会尝试定期发布新的痕迹,请继续关注。

我们的动力

正如开头所说,我们发布数据的动机是为了帮助相关领域的人们更好地了解现代数据中心,并为研究人员提供生产数据以改变他们的想法。只要用于研究或学习目的,您可以随意使用跟踪。

从我们的角度来看,提供数据是为了解决阿里巴巴在 IDC 中面临的挑战,其中在线服务和批处理作业并置。我们将挑战提炼为以下主题:

  1. 工作负载特性。如何以一种我们可以模拟各种生产工作负载的方式表征阿里巴巴工作负载,以进行调度和资源管理策略研究。
  2. 将工作负载分配给机器的新算法。如何为机器分配和重新安排工作负载以提高资源利用率并确保不同应用程序的性能 SLA(例如,通过减少资源争用和定义适当的优先级)。
  3. 在线服务调度器 (Sigma) 和批处理作业调度器 (Fuxi) 之间的协作。如何调整在线服务和批处理作业之间的资源分配,以提高批处理作业的吞吐量,同时保持在线服务可接受的 QoS(服务质量)和快速故障恢复。随着配置规模(由不同调度器管理的工作负载)不断增长,协作机制的设计变得越来越重要。

最后但并非最不重要的一点是,我们始终乐于与研究人员合作,以提高我们集群的效率,并为研究实习生提供职位空缺。如果你有在你的心中什么想法,请通过以下方式联系我们aliababa-Cluster数据或海阳丁(海阳维护该集群跟踪和作品阿里巴巴的资源管理和调度组)。

跟踪结果

使用阿里巴巴集群trace的论文

我们发布集群数据的基本理念是让研究人员和从业人员能够使用更真实的数据进行研究、模拟,从而使结果更接近行业采用。使用我们的数据看到更多的作品对我们来说是一个巨大的鼓励。以下是使用阿里巴巴集群数据的现有作品列表。如果您的论文使用了我们的跟踪,如果您通过发送电子邮件( aliababa-clusterdata )告诉我们,那就太好了。

  • 集群跟踪 GPU v2020
  • “野外 MLaaS:大规模异构 GPU 集群中的工作负载分析和调度”,作者 Qizhen Weng、Wencong Xiao、Yinghao Yu、Wei Wang、Cheng Wang、Jian He、Yong Li、Liping Zhang、Wei Lin 和 Yu Ding ,将于 2022 年 4 月在华盛顿州伦顿举行的第 19 届 USENIX 网络系统设计和实现研讨会 (NSDI'22) 上发表。
  • 集群跟踪 v2018
  • 本文发布了一个有趣的模拟器:CloudSimPy。您可以在CloudSimPy 上查看
  • 表征和综合阿里云中数据并行作业的任务依赖性,作者 Huangshi Tian、Yunchuan Zheng 和 Wei Wang,将于 2019 年 11 月在加利福尼亚州圣克鲁斯举行的 ACM 云计算研讨会 (SoCC '19) 上发表。
  • Aladdin: Optimized Maximum Flow Management for Shared Production Clusters , Heng Wu, Wenbo ZHANG, Yuanjia XU, Hao XIANG, Tao HUANG, Haiyang Ding, Zheng ZHANG, 2019 IEEE International Parallel and Distributed Processing Symposium (IPDPS)。
  • 集群跟踪 v2017

关于分析跟踪的技术报告和项目

到目前为止,这个会话是空的。未来,我们将在所有者的许可下,将一些报告和开源 repo 链接到如何在此处分析跟踪。

这样做的目的是帮助更多的初学者开始学习基本的数据分析或如何从统计的角度检查集群。

相关文章
|
资源调度 分布式计算 安全
伏羲—阿里云分布式调度系统
在12月12日的云栖社区在线培训上,“飞天”分布式系统核心开发人员陶阳宇分享了《伏羲-阿里云分布式调度系统》。他主要从伏羲系统架构、任务调度、资源调度、容错机制、规模挑战、安全与性能隔离方面介绍了伏羲分布式系统架构和设计理念。
24399 0
|
6月前
|
机器学习/深度学习 算法 安全
2026 年面向 LLM 的 RL方法总结:从 PPO 到 DPO 到 GRPO,再到多智能体 RL
本文梳理大模型对齐中强化学习的演进脉络:从PPO+RLHF起步,到DPO删去奖励模型、GRPO剔除Critic,再到MARL与智能体RL框架兴起。聚焦奖励信号变迁——由人类偏好转向可验证结果,并解析各算法适用场景、失效边界及开源技术栈(verl/TRL/Agent-R1等),揭示RL正从旁支走向LLM能力跃迁的核心引擎。
1818 2
2026 年面向 LLM 的 RL方法总结:从 PPO 到 DPO 到 GRPO,再到多智能体 RL
|
6月前
|
网络安全 Windows
EViews 13专业计量经济学统计分析安装教程 Windows版:序列号注册
EViews 13是由IHS Markit开发的专业计量经济学软件,广泛用于金融分析、宏观经济研究、预测及学术实证。本教程提供完整安装、注册与防火墙配置指南,助您快速部署正版体验版。(239字)
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
大模型强化学习扫盲:PPO、GRPO、DPO,哪个才是你的“AI教练”?
本文深入浅出解析大模型强化学习三大主流技术:PPO(严苛精英培养)、GRPO(群体赛马激发思维链)、DPO(极简偏好对齐)。厘清其核心思想、适用场景与选型逻辑,助你15分钟掌握如何用RL真正提升模型“思考力”而非仅拟合答案。(239字)
|
存储 Kubernetes 调度
|
存储 Serverless 数据库
科普文:云计算服务类型IaaS, PaaS, SaaS, BaaS, Faas说明
本文介绍了云计算服务的几种主要类型,包括IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)、BaaS(后端即服务)和FaaS(函数即服务)。每种服务模式提供了不同的服务层次和功能,从基础设施的提供到应用的开发和运行,再到软件的交付使用,满足了企业和个人用户在不同场景下的需求。文章详细阐述了每种服务模式的特点、优势和缺点,并列举了相应的示例。云计算服务的发展始于21世纪初,随着互联网技术的普及,这些服务模式不断演进,为企业和个人带来了高效、灵活的解决方案。然而,使用这些服务时也需要注意服务的稳定性、数据安全性和成本等问题。
15315 5
|
机器学习/深度学习 人工智能 算法
面向工业4.0的AI Agent多任务协作与调度系统设计
随着人工智能(AI)技术的飞速发展,智能制造成为现代工业的核心驱动力。传统制造系统在面对多任务、高频次和动态变化的调度需求时,往往效率低下。而基于AI Agent的多任务协作与调度机制为解决这一问题提供了全新思路。本文聚焦于面向智能制造场景中,如何通过AI Agent实现多任务协作调度,并引入强化学习方法进行算法优化。
|
搜索推荐 物联网 PyTorch
Qwen2.5-7B-Instruct Lora 微调
本教程介绍如何基于Transformers和PEFT框架对Qwen2.5-7B-Instruct模型进行LoRA微调。
15015 34
Qwen2.5-7B-Instruct Lora 微调
|
机器学习/深度学习 算法 PyTorch
DeepSeek 背后的技术:GRPO,基于群组采样的高效大语言模型强化学习训练方法详解
强化学习(RL)是提升大型语言模型(LLM)推理能力的重要手段,尤其在复杂推理任务中表现突出。DeepSeek团队通过群组相对策略优化(GRPO)方法,在DeepSeek-Math和DeepSeek-R1模型中取得了突破性成果,显著增强了数学推理和问题解决能力。GRPO无需价值网络,采用群组采样和相对优势估计,有效解决了传统RL应用于语言模型时的挑战,提升了训练效率和稳定性。实际应用中,DeepSeek-Math和DeepSeek-R1分别在数学推理和复杂推理任务中展现了卓越性能。未来研究将聚焦于改进优势估计、自适应超参数调整及理论分析,进一步拓展语言模型的能力边界。
3353 8
DeepSeek 背后的技术:GRPO,基于群组采样的高效大语言模型强化学习训练方法详解