更轻松、高效、经济的LLaMA训练——开源大模型训练框架Megatron-LLaMA
9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的代码版本，Megatron-LLaMA能够取得176%的加速；在大规模的训练上，Megatron-LLaMA相比较32卡拥有几乎线性的扩展性，且对网络不稳定表现出高容忍度。目前Megatron-LLaMA已在开源社区上线。开源地址：https://github.com/alibaba/Megatron-LLaMA
阿里巴巴云原生混部系统 Koordinator 正式开源
脱胎于阿里巴巴内部，经过多年双 11 打磨，每年为公司节省数十亿的混部系统 Koordinator 今天宣布正式开源。通过开源，我们希望将更好的混部能力、调度能力开放到整个行业，帮助企业客户改进云原生工作负载运行的效率、稳定性和计算成本。
