阿里云大数据Al技术
随着越来越多超大语言模型的出现,如何将这些超大语言模型在实际业务中部署落地成为了一个急需解决的问题。这些超大语言模型拥有百亿千亿甚至于万亿的参数,如此巨大的参数使得无法将超大模型直接部署在单张卡上,而需要几个甚至几十个 GPU 参与模型推理,会消耗非常大的计算资源。然而一些常用的模型优化技术如剪枝和量化虽然能够有效的降低模型大小,但是这些算法却很难在保证精度的情况下达到较大的压缩率。因此我们选择了非结构化稀疏来压缩超大语言模型,从而使得他们能够在保证精度的情况下达到较高的压缩率。
随着 AI 应用的快速发展和广泛应用,AI 应用开发和工程部署及模型优化也日益引起了产业界关注。如何更高效地完成 AI 算法从研究领域到生产部署的应用开发流程是一个常见的问题。本次 GTC 2022 S41395 中,阿里云计算平台 PAI 团队分享了通过模型系统优化工具 PAI-Blade 更好地应用 TensorRT,BladeDISC 等相关技术方案,优化云上应用场景。
经历6年时间,在各团队的努力下,阿里巴巴集团大规模稀疏模型训练/预测引擎DeepRec正式对外开源,助力开发者提升稀疏模型训练性能和效果。
3月21日,2022英伟达 GTC 大会即将拉开帷幕。此次 GTC 22 大会上,阿里云将带来有关推理优化/部署、深度学习编译器、大模型部署、训练优化、云手游等主题的内容,分享云端机器学习平台最新的创新实践。
本文介绍的是阿里在2019年发表的多任务学习算法。该模型显示地建模目标间的贝叶斯网络因果关系,整合建模了特征和多个目标之间的复杂因果关系网络,省去了一般MTL模型中较强的独立假设。由于不对目标分布做任何特定假设,使得它能够比较自然地推广到任意形式的目标上。
最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T,模型参数已经从万亿跃迁到10万亿,规模远超业界此前发布的万亿级模型,成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效,使用512 GPU在10天内即训练出具有可用水平的10万亿模型。
阿里云大数据&AI开源项目合集,了解全部阿里云AI&大数据开源项目,欢迎加入。
近日,关于机器学习访存密集计算编译优化框架的论文《AStitch: Enabling A New Multi-Dimensional Optimization Space for Memory-Intensive ML Training and Inference on Modern SIMT Architectures》被系统领域顶会ASPLOS 2022接收。
关于对冷启动推荐模型DropoutNet深度解析与改进。
大数据&AI产品技术月刊(2022年1月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
近日,阿里云机器学习PAI主导的论文《机器学习访存密集计算编译优化框架AStitch》入选国际顶会ASPLOS 2022,论文通过编译优化的手段来自动化地提高机器学习任务的执行效率。此次入选意味着阿里云机器学习平台PAI自研的深度学习编译优化系统达到了全球业界先进水平,获得了国际学者的认可,展现了中国机器学习系统技术创新在国际上的竞争力。
人工智能平台 PAI 推出了高性能一体化强化学习框架 PAI-Chatlearn,从框架层面解决强化学习在计算性能和易用性方面的挑战。