机器学习PAI大模型训练什么时候会支持?
根据搜索结果[1][2][3],阿里云机器学习平台PAI已经支持Llama2大模型的训练,并且提供了全量微调、Lora微调、推理服务等场景最佳实践,助力AI开发者快速开箱。此外,PAI还包含了模型库、分词器、模型转换、强化学习、离线文本生成以及使用示例和工具集等用于构建LLM训练的关键要素。在模型库中包含热门大模型的Megatron版本实现,例如baichuan,bloom,chatglm,falcon,galactica,glm,llama,qwen和starcoder,后续还会根据需要及时添加新的Megatron版大模型实现。同时patch还提供了huggingface模型权重和Megatron模型权重之间的双向转换。因此,机器学习PAI大模型训练在未来将会得到进一步的支持。
赞0
踩0