【DSW Gallery】一文览尽:机器学习平台PAI模型构建和训练案例全集

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 本文为您展示DSW Gallery的全部文章,欢迎您浏览。同时文末有动手实验有奖活动,期待您的参与!

一、DSW Gallery 简介

Gallery是使用机器学习平台PAI的有效指引,您可以通过Notebook的形式,直接使用机器学习平台PAI的各个组件,包括云原生深度学习训练平台PAI-DLC,弹性推理服务平台PAI-EAS,助您快速熟悉云原生下的AI研发流程。DSW Gallery为广大AI开发者提供来自各个行业和技术方向,简单易用,一键启动的案例,助您有效提升开发效率和质量。  


通过DSW Gallery,您可以预览案例,也可以在DSW实例中快速启动案例,或将案例修改为适合自己的使用场景。丰富的案例和解决方案可提升研发的效率和质量,帮助您快速完成模型构建和训练。  


本文为您展示DSW Gallery的全部文章,欢迎您浏览。同时文末有动手实验有奖活动,期待您的参与!


二、DSW Gallery 目录


标题 链接
【DSW Gallery】PAI-DSW快速入门 https://developer.aliyun.com/article/1012661
【DSW Gallery】PAI-DSW开通及授权 https://developer.aliyun.com/article/1012714
【DSW Gallery】在DSW中如何玩转Hugging Face https://developer.aliyun.com/article/1021445
【DSW Gallery】数据分析经典案例:Kaggle竞赛之房价预测 https://developer.aliyun.com/article/1023504
【DSW Gallery】基于残差网络的图像分类示例 https://developer.aliyun.com/article/1023521
【DSW Gallery】DSW实例管理 https://developer.aliyun.com/article/1024744
【DSW Gallery】PAI-DSW计费方式介绍 https://developer.aliyun.com/article/1024749
【DSW Gallery】企业和团队如何使用PAI-DSW协作开发 https://developer.aliyun.com/article/1024752
【DSW Gallery】特征平台 https://developer.aliyun.com/article/1024773
【DSW Gallery】COMMON_IO使用指南 https://developer.aliyun.com/article/1024779
【DSW Gallery】PAIIO使用指南 https://developer.aliyun.com/article/1024786
【DSW Gallery】MaxCompute(ODPS)Python SDK使用指南 https://developer.aliyun.com/article/1025441
【DSW Gallery】阿里云OSS使用指南 https://developer.aliyun.com/article/1025445
【DSW Gallery】使用Numpy实现卷积神经网络 https://developer.aliyun.com/article/1025456
【DSW Gallery】SkLearn CookBook https://developer.aliyun.com/article/1025489
【DSW Gallery】 XGBoost:如何使用XGBoost解决回归问题 https://developer.aliyun.com/article/1026554
【DSW Gallery】基于SwinTransformer的图像分类示例 https://developer.aliyun.com/article/1026560
【DSW Gallery】基于YOLOX模型图像检测示例 https://developer.aliyun.com/article/1026565
【DSW Gallery】基于EasyNLP的BERT文本分类 https://developer.aliyun.com/article/1026569
【DSW Gallery】基于EasyNLP的BERT英文机器阅读理解 https://developer.aliyun.com/article/1027847

【DSW Gallery】基于EasyNLP的MacBERT中文机器阅读理解

https://developer.aliyun.com/article/1027880
【DSW Gallery】基于EasyNLP的RoBERTa中文新闻多分类 https://developer.aliyun.com/article/1027883
【DSW Gallery】基于EasyNLP的英文文本摘要 https://developer.aliyun.com/article/1036979
【DSW Gallery】基于EasyNLP的中文新闻标题生成 https://developer.aliyun.com/article/1036989
【DSW Gallery】基于EasyNLP的序列标注(命名实体识别) https://developer.aliyun.com/article/1036990
【DSW Gallery】基于EasyNLP的RoBERTa中文文本匹配 https://developer.aliyun.com/article/1036996
【DSW Gallery】基于EasyNLP的多模态CLIP图文检索 https://developer.aliyun.com/article/1037002
【DSW Gallery】HybridBackend 极简教程: 在 GPU 上加速推荐模型训练 https://developer.aliyun.com/article/1038150
【DSW Gallery】Tensorflow 2构建CNN模型 https://developer.aliyun.com/article/1038153
【DSW Gallery】使用Tensorflow来构建AutoEncoder https://developer.aliyun.com/article/1038571
【DSW Gallery】介绍如何使用SDK提交DLC训练任务 https://developer.aliyun.com/article/1038574
【DSW Gallery】DSW如何挂载数据盘 https://developer.aliyun.com/article/1038600
【DSW Gallery】DSW Gallery https://developer.aliyun.com/article/1038607
【DSW Gallery】DSW镜像使用入门 https://developer.aliyun.com/article/1038609
【DSW Gallery】DSW打通用户VPC https://developer.aliyun.com/article/1039043
【DSW Gallery】使用Python SDK管理DSW实例 https://developer.aliyun.com/article/1039045
【DSW Gallery】使用EAS Python SDK完成模型部署 https://developer.aliyun.com/article/1039047
【DSW Gallery】介绍如何在DSW中使用EAS命令行工具 https://developer.aliyun.com/article/1039050
【DSW Gallery】DSW基础使用介绍 https://developer.aliyun.com/article/1039055
【DSW Gallery】Jupyter简介 https://developer.aliyun.com/article/1039057
【DSW Gallery】Jupyter魔术命令使用技巧 https://developer.aliyun.com/article/1044697
【DSW Gallery】使用 Alink 结合 TFDV 进行数据探索和验证 https://developer.aliyun.com/article/1045594
【DSW Gallery】交替最小二乘算法解决推荐相关问题 https://developer.aliyun.com/article/1046676
【DSW Gallery】Gbdt-FM模型 https://developer.aliyun.com/article/1046709
【DSW Gallery】Gbdt-LR模型 https://developer.aliyun.com/article/1046778
【DSW Gallery】基于图算法实现金融风控 https://developer.aliyun.com/article/1046814

【DSW Gallery】 基于EasyCV的Mask2Former图像分割示例

https://developer.aliyun.com/article/1078364

【DSW Gallery】介绍如何使用命令行工具提交DLC任务

https://developer.aliyun.com/article/1159795

【DSW Gallery】基于残差网络的度量学习示例

https://developer.aliyun.com/article/1159816

【DSW Gallery】如何在DLC上提交ElasticBatch任务

https://developer.aliyun.com/article/1159835

【DSW Gallery】基于EasyNLP-Diffusion模型的中文文图生成

https://developer.aliyun.com/article/1175993

【DSW Gallery】基于EasyCV的BEVFormer 3D检测示例

https://developer.aliyun.com/article/1176788

【DSW Gallery】基于YOLOX模型和iTAG标注数据的图像检测示例

https://developer.aliyun.com/article/1177003

【DSW Gallery】基于EasyCV的文字识别示例

https://developer.aliyun.com/article/1177289

【DSW Gallery】基于Top Down的关键点检测示例

https://developer.aliyun.com/article/1177299

【DSW Gallery】基于MAE的自监督学习示例

https://developer.aliyun.com/article/1177320

【DSW Gallery】基于MOCOV2的自监督学习示例

https://developer.aliyun.com/article/1178995

【DSW Gallery】基于EasyCV的STDC图像语义分割示例

https://developer.aliyun.com/article/1178996

【DSW Gallery】基于EasyCV的视频分类示例

https://developer.aliyun.com/article/1178999

【DSW Gallery】EasyCV-基于关键点的视频分类示例

https://developer.aliyun.com/article/1179006

【DSW Gallery】基于EasyNLP的中文信息抽取

https://developer.aliyun.com/article/1179204

【DSW Gallery】基于预训练模型的多场景文本生成(以新闻标题生成为例)

https://developer.aliyun.com/article/1179242

【DSW Gallery】基于CK-BERT的中文序列标注

https://developer.aliyun.com/article/1179248

【DSW Gallery】基于EasyNLP Transformer模型的中文文图生成

https://developer.aliyun.com/article/1179340

【DSW Gallery】基于ModelScope的中文GPT-3模型(1.3B)的微调训练

https://developer.aliyun.com/article/1179344

【DSW Gallery】如何在DLC中进行Pytorch DDP分布式训练任务

https://developer.aliyun.com/article/1179346

【DSW Gallery】如何使用EasyRec训练DeepFM模型

https://developer.aliyun.com/article/1179348

【DSW Gallery】如何使用DLC进行TensorFlow 1.x 分布式训练

https://developer.aliyun.com/article/1179534

【DSW Gallery】如何使用DLC进行TensorFlow 2.x 分布式训练

https://developer.aliyun.com/article/1179545

【DSW Gallery】如何提交开启AIMaster容错监控的DLC任务

https://developer.aliyun.com/article/1179553

【DSW Gallery】如何在DLC训练任务中挂载OSS

https://developer.aliyun.com/article/1179558

【DSW Gallery】如何在DSW/DLC中使用企业版镜像服务ACR

https://developer.aliyun.com/article/1179560

【DSW Gallery】IsolationForest算法解决异常检测问题

https://developer.aliyun.com/article/1179562

【DSW Gallery】OneClassSVM 算法解决异常检测问题

https://developer.aliyun.com/article/1179565

【DSW Gallery】Grounded-SAM 马赛克熊使用示例

https://developer.aliyun.com/article/1215205


三、动手实验有奖

1.  实验内容:标题党制造机

通过【DSW Gallery】基于EasyNLP的中文新闻标题生成的操作,使用机器学习平台PAI和EasyNLP,简单、快速生成吸引眼球的高质量标题。


2.  活动日期

2022年11月11日-2022年12月30日。


3.  实验要求

1)完成上述案例的操作,截图PAI-DSW中最终跑通结果。

2)分享DSW-Gallery使用心得。例如:DSW-Gallery给你带来的主要价值是什么呢?在什么业务场景会接触和使用到DSW-Gallery?您使用DSW-Gallery解决过什么问题呢?……

3)将步骤1中的截图和步骤2的心得,以文章的形式发布在开发者社区,文章请以“DSW-Gallery使用体验+……”为标题,并将文章链接复制并发布至本文评论区。


完成上述步骤视为参与成功,缺少任一步骤视作弃权。所有参与活动的内容必须是原创作品,且保证内容的真实性,要求为个人独立创作。最终解释权归阿里云所有。


4.  参与方式

将撰写的文章以“DSW-Gallery使用体验+……”为标题,发布到开发者社区,标题不符合要求则视作无效文章,不计入统计。

步骤一:将文章发布到开发者社区。(请注意标题格式)

1654067680587-5d17dae4-942c-46b1-a47a-33a3292dd3a5.png

步骤二:将文章链接复制并发布至本文评论区。


完成步骤一和步骤二视为参与成功。(缺少任一步骤视作弃权


5.奖励说明

  • 奖项设置

奖项

奖品

奖项设置规则

奖品数量

最佳文章奖

罗技K580无线蓝牙键盘 根据文章内容质量评定 1
优质文章奖 小米充电宝(10000毫安) 文章阅读量排名前3名

3

最佳人气奖  定制衣服一件 提交文章前30名

30

  • 评奖时间

2023年1月6日,评委会将在本文评论区公布获奖名单,后续联系发放奖品。

奖品将于活动结束后20个工作日内寄出。


相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
6月前
|
机器学习/深度学习 人工智能 JSON
【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对DistilQwen2.5-R1模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过 PAI-ModelGallery 轻松实现 Qwen2.5 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2.5-R1 蒸馏模型的全链路最佳实践。
|
5月前
|
人工智能 JSON 算法
【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列,包括 DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。本文详细介绍DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践。
|
9月前
|
人工智能 调度 芯片
PAI训练服务:云上大模型训练新篇章
本文介绍了通用AI时代下的新训练方法及PAI平台的优化。随着大模型时代的到来,算力需求激增,硬件和网络通信成为瓶颈。PAI平台通过自动容错、3D健康检测等技术确保训练稳定性;通过资源配额、智能调度等提高性价比;并推出PAI-TorchAcc和PAI-ChatLearn两大引擎,分别实现高效训练加速和灵活的对齐训练,显著提升训练性能与效果。这些改进解决了大规模AI训练中的关键问题,提升了效率和稳定性。
|
9月前
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
7月前
|
人工智能 自然语言处理 算法
MT-MegatronLM:国产训练框架逆袭!三合一并行+FP8黑科技,大模型训练效率暴涨200%
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架,支持多种模型架构和高效混合并行训练,显著提升 GPU 集群的算力利用率。
461 18
|
7月前
|
机器学习/深度学习 人工智能 边缘计算
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
|
9月前
|
机器学习/深度学习 人工智能
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
237 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
|
11月前
|
人工智能 JSON 算法
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
|
10月前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
549 22
|
10月前
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
479 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例

热门文章

最新文章

相关产品

  • 人工智能平台 PAI