机器学习PAI training ，blade里是怎么做的？有没有相关描述文档怎么优化的？
机器学习PAI training ，blade里是怎么做的？有没有相关描述文档怎么优化的？
写回答
-
在机器学习PAI的blade中进行模型训练的优化，通常涉及到调整超参数、选择合适的优化器、利用硬件加速技术、优化数据预处理和加载等方法。具体的优化策略和步骤可能会因任务类型、数据集、模型架构和资源限制的不同而有所不同。你可以参考PAI的官方文档、最佳实践或者相关的研究论文来了解如何在blade中进行模型训练的优化。
2023-12-20 15:49:53赞同 展开评论 打赏 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。机器学习PAI的Blade组件主要负责对训练完成的模型进行优化，以实现最优的推理性能。这一过程依托于完全动态尺寸的AI编译器BladeDISC和基于深度学习自动调度的高性能计算库BlaDNN。此外，PAI-Blade还提供了C++ SDK，用于部署优化后的模型推理，使得模型能迅速投入生产环境。
为了帮助你理解其优化过程，这里有一篇详细的使用指南，它以通用的机器学习流程为指导，结合PAI平台逐一介绍了数据准备、模型搭建与训练、模型部署与调用等环节。同时，文中也举例说明了如何使用PAI-Blade来加速StableDiffusion Fine-Tuning模型的训练。
2023-12-20 14:22:40赞同 展开评论 打赏 -
https://mp.weixin.qq.com/s/zhOnQsK1ynSkn7-bAaWCfw 可以参考下这个文章，以及一些更细节的优化 pass 可以参考：https://github.com/alibaba/BladeDISC/blob/main/docs/developers/pass_pipeline.md#memory-optimization-passes ，此回答整理自钉群“BladeDISC用户支持群”
2023-12-20 10:13:52赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
