更轻松、高效、经济的LLaMA训练——开源大模型训练框架Megatron-LLaMA
9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的代码版本，Megatron-LLaMA能够取得176%的加速；在大规模的训练上，Megatron-LLaMA相比较32卡拥有几乎线性的扩展性，且对网络不稳定表现出高容忍度。目前Megatron-LLaMA已在开源社区上线。开源地址：https://github.com/alibaba/Megatron-LLaMA
GPU实例使用--vGPU资源利用率的提升、监控与告警的实现
随着AI计算及云游戏为代表的图形渲染业务的飞速发展，越来越多的企业和个人开始使用GPU实例。同时，由于GPU算力资源成本较高，对于负载相对较小的业务，客户会更倾向于选择使用1/2或者1/4甚至更小的vGPU实例来运行其业务，vGPU技术随之得以迅速发展。
阿里巴巴云原生混部系统 Koordinator 正式开源
脱胎于阿里巴巴内部，经过多年双 11 打磨，每年为公司节省数十亿的混部系统 Koordinator 今天宣布正式开源。通过开源，我们希望将更好的混部能力、调度能力开放到整个行业，帮助企业客户改进云原生工作负载运行的效率、稳定性和计算成本。
阿里云RemoteShuffleService新功能：AQE和流控
阿里云EMR自2020年推出Remote Shuffle Service(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施。为了更方便大家使用和扩展，RSS在2022年初开源，欢迎各路开发者共建。本文将介绍RSS最新的两个重要功能：支持Adaptive Query Execution(AQE)，以及流控。
给 K8s 装上大数据调度引擎：伏羲架构升级 K8s 统一调度
飞天伏羲作为有着十多年历史的调度团队，在服务好 MaxCompute 大数据平台的过程中，一直在不断通过自我革新赶超业界先进水平，我们经历了 Fuxi 2.0 的这样的大规模升级，今天通过 K8s 统一调度项目又再次实现了系统架构的蜕变，将大数据平台强大的调度能力赋予 K8s 系统，同时去拥抱 K8s 周边丰富的生态。除了集团弹内集群，将来我们在公共云、专有云等多个场景，也会以 K8s 统一调度的方式进行输出，以更好地服务云上的用户，敬请期待！
云原生混部最后一道防线：节点水位线设计
由于混部是一个复杂的技术及运维体系，包括 K8s 调度、OS 隔离、可观测性等等各种技术。今天我们要关注的是混部在单机运行时的最后一道防线——单机水位线设计。