【DSW Gallery】DSW Gallery

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: DSW Gallery提供了AI研发场景下丰富的案例和解决方案,内容涵盖如: Jupyter, 数据分析,机器学习,深度学习,PAI产品说明, SDK使用说明,以及行业解决方案),支持一键在DSW中启动和运行,帮助您快速了解云原生下AI研发流程,熟练使用PAI的各种工具,提升开发效率和质量。

直接使用

请打开DSW Gallery,并点击右上角 “ 在DSW中打开” 。

image.png


DSW Gallery

DSW Gallery提供了AI研发场景下的丰富的案例和解决方案,内容涵盖如: PAI/DSW功能介绍,阿里云产品使用方法(包括SDK或CLI工具),数据科学,深度学习,以及行业解决方案,支持在DSW中快速启动,帮助您快速熟悉云原生下的AI研发流程,并且使用PAI、阿里云等产品,提升研发的效率和质量。

前提条件

  • 阿里云账号
  • 开通PAI
  • 至少有一个正在运行的DSW实例
  • OSS, MaxCompute, NAS, Dataworks(根据需要自行开通)

⌨️ 使用方法

DSW Gallery所提供的案例至少包含3个部分

  1. 摘要:标题、描述、标签
  2. 文档:案例使用文档(详细的步骤说明以及相关代码,图表等)
  3. 资源:ipynb及相关代码, 可被DSW加载并执行

摘要

如何快速找到需要的案例?

  • DSW Gallery 可以根据案例摘要中的关键词进行模糊查询。您可以使用标题或描述中的关键词,或者选择感兴趣的标签,见 Fig.1 中的 ① ② ③。
  • ① 按案例标题和描述模糊搜索
  • ② 按类型展示案例
  • ③ 按标签检索,点击标签,检索出包含该标签的所有案例
  • DSW Gallery 支持多个关键词组合查询,权重从高到低,依次排序。例如: 当两个条件组合查询时:先查找“阿里云产品”下的案例,然后在前一个条件的查询结果中继续查找满足“名称或描述 odp”的案例。

32-1.png

Fig.1 - Search Sample in Gallery

文档

文档展示的是案例的使用方法或使用细节,大致包含三部分:

  1. 前提条件:使用案例的必要条件(MaxCompute, HDFS, Dataworks, EAS, DLC, PAIFlow, NNI, Automl, Blade等)
  2. 运行环境:DSW实例规格(CPU/MEM/GPU), Docker镜像版本
  3. 详细步骤:实际操作的每一步的代码,命令以及执行后输出的图片,图表等

资源

在浏览案例文档之后,如果您对此非常感兴趣,可以一键加载案例到DSW实例中。在点击“在DSW中打开”,选择“AI工作空间”之后,默认会选择当前“AI工作空间”下正在运行的DSW实例。以Fig.2为例:

  • ① 文档右上角 “在DSW中打开” 按钮
  • ② 如果没有您需要的工作空间,请点击链接前往创建
  • ③ 如果您在此工作空间内无任何运行中DSW实例,请点击链接前往创建
  • ④ DSW实例选择之后,点击确定,前往DSW。

32-2.png

Fig.2 - Open Sample in DSW

Warning

  1. DSW实例规格应不低于案例文档中运行环境所要求的实例规格,镜像版本保持一致。 见Fig.3
  2. 如果您没有工作空间且账户管理员。需要您联系账户管理员将您添加到任意工作空间并授予算法开发的角色。 具体操作方式可参考文档
  3. 如果DSW实例之前已打开过该案例,再次点击案例的在DSW中打开之后,DSW会提示案例所在路径。您有两个选择,见Fig.4
  • 根据提示,前往案例所在路径
  • 重新下载案例到另一个路径32-3.png

Fig.3 - 检查DSW的实例规格,镜像版本

32-4.png

Fig.4 - 案例已存在,提示重新下载

📚案例

产品功能

DSW是一款云端机器开发IDE,下面的文档可以帮助您更快地上手DSW。

  • DSW开通与授权 PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文用于帮助您快速开通DSW以及授权子账号使用。
  • DSW实例管理 本文简述如何在DSW控制台管理DSW实例。
  • 数据挂载(OSS, NAS) 本文简述如何将管理DSW的数据,包括(NAS, OSS)等数据挂载。
  • 镜像管理 PAI-DSW依托于容器技术提供开箱即用的机器学习开发环境,每个DSW实例使用一个镜像来启动容器,容器里运行Jupyterlab、VSCode、Terminal,用户进入容器之后使用Jupyterlab启动Kernel或者在Terminal上用shell命令启动进程的方式启动机器学习任务。
  • VPC网络配置 PAI-DSW实例运行于PAI的托管VPC中,默认情况下与用户的VPC网络是隔离的。本文带您了解在PAI-DSW实例中如何访问VPC服务,例如读取VPC RDS中的数据、clone VPC中部署的git中的代码等。
  • 企业资源管理:实例共享,权限管理 PAI-DSW基于AI工作空间,提供了丰富的实例资源管理,以及权限管理等能力,助力企业和团队,实现多人的灵活协作开发。
  • 付费模式 PAI-DSW售卖方式目前有按量付费(个人版)、按资源组付费(公测中)两种形态。本文带您了解PAI-DSW的付费模式。
  • DSW IDE介绍 PAI-DSW集成了开源JupyterLab,并以插件化的形式进行深度定制化开发。您无需任何运维配置,即可进行Notebook编写、调试及运行Python代码。本文介绍了(JupyterLab, WebIDE, Terminal)的使用方法。

阿里云产品使用文档

阿里云产品(如:阿里云对象存储OSS,阿里云数仓服务MaxCompute, 阿里云PAI云原生AI基础平台PAI-DLC, 在线预测PAI-EAS等)提供了SDK和CLI工具,DSW与这些产品结合使用,帮助您加快模型的开发和部署

  • MaxCompute(ODPS)是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,提供离线和流式数据的接入,支持大规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决方案及分析建模>服务。PAI-DSW支持以下三种方式读写MaxCompute(ODPS)表数据。
  • PyOdps使用指南, PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS,并且能够用于实际项目。
  • PAIIO使用指南, PAIIO是针对TensorFlow任务读取MaxCompute Table数据专门开发的模块,提供了TableRecordDataset dataset,您可以方便的使用TableRecordDataset构建TF任务。
  • COMMON_IO使用指南, COMMON_IO提供了简洁易用的TableReader和TableWriter两个接口,您可以使用COMMON_IO方便的读写MaxCompute Table数据,如果您想读取MaxCompute Table数据构建PyTorch任务,也推荐使用COMMON_IO。
  • OSS 使用指南 阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。

深度学习

PAI提供了面向多种场景下的深度学习模型 python sdk, 如:EasyVision(视觉智能增强算法包), EasyTransfer 自然语言处理(NLP), EasyASR(语音智能增强算法包), EasyCompression(模型压缩)。

  • EasyCV图像分类 本文将介绍如何在pai-dsw基于EasyCV快速使用Resnet50进行图像分类模型的训练、推理。
  • 使用EasyVision进行目标检测 EasyVision(视觉智能增强算法包)提供多种模型的训练及预测功能,旨在帮助计算机视觉应用开发者方便快捷地构建视觉模型并应用于生产。本文以目标检测为例,为您介绍如何在PAI-DSW中使用EasyVision。
  • EasyNLP文本分类 本文将介绍如何在pai-dsw基于EasyNLP快速使用BERT进行文本分类模型的训练、推理。
  • Hugging Face介绍 Hugging Face(简称HF,官网地址)最开始是专注于NLP技术的大型开源社区,在github上开源的自然语言处理预训练模型库Transformers已被下载超过百万次,github上超过64000颗星。本文介绍如何使用Python SDK访问HF。

数据科学

  • Kaggle竞赛之房价预测 本文展示如何利用一个包含数值类型,和非数值类型的数据集来做特征工程,和最终实现效果比较好的回归,是一个非常好的数据分析的例子,其中涉及到了Panda和SKLearn的应用。
  • scikit-learn cookbook 本文介绍sklearn在机器学习中的应用

其他

  • Tensorflow2 And Keras Tensorflow 2是Google公司基于Tensorflow 1开发的深度学习框架。本文介绍了TF2.0的常用API.
相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
Prometheus 监控 Kubernetes
阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽
本系列相关文章:阿里云容器服务GPU监控2.0基础篇1:基本功能使用阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽阿里云容器服务GPU监控2.0基础篇3:监控NVIDIA XID错误阿里云容器服务GPU监控2.0进阶篇1:剖析(Profiling)GPU使用情况必备知识阿里云容器服务GPU监控2.0进阶篇2:学会剖析(Profiling)GPU使用情况容器服务GPU监控2.0提供了监
1772 0
阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽
|
4月前
|
Ubuntu Linux 定位技术
在Ubuntu 20.04系统安装Matlab R2021a步骤
希望你可以充分享受这场旅行,从无知的迷雾中找到通向智慧的路。好好装备你的 Linux 旅行箱吧,因为还有很多其他的知识世界等待你去探索和征服。在知识的海洋里,只有勇敢的探索者才能找到自己的道路。快乐旅行!
332 23
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。
ACE
|
12月前
|
SQL 分布式计算 数据处理
如何创建2024云栖Openlake测试项目和配置环境
2024年云栖大会,MaxCompute 多项重磅产品新功能邀测发布,新特性包括 支持OpenLake的湖仓一体2.0、Object Table支持SQL或MaxFrame处理非结构化数据、Delta Table增量表格式、基于增量物化视图的增量计算、MCQA2.0 SQL引擎查询加速等。其相关特性将在中国区 公共云 北京、上海、杭州、深圳Region 上线开放试用。本文以最佳实践的方式,帮助您创建MaxCompute和周边产品 在Openlake解决方案demo中需要准备的实例、项目和开发环境,并完成配置。欢迎您玩转云栖邀测demo,体验新功能。
ACE
1078 7
|
人工智能 算法 开发工具
通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践
本文将以 Qwen-72B-Chat 为例,介绍如何通过PAI平台的快速开始(PAI-QuickStart)部署和微调千问大模型。
|
机器学习/深度学习 人工智能 算法
【保姆级教程】用PAI-DSW修复亚运历史老照片
本教程整合了来自开源社区的高质量图像修复、去噪、上色等算法,并使用 Stable Diffusion WebUI 进行交互式图像修复。参与者可以根据需要进行参数调整,组合不同的处理方式以获得最佳修复效果。参与者还可以在活动页面上传修复后的成果图片,参与比赛,获胜者将有机会获得丰厚的奖品。
44563 189
【保姆级教程】用PAI-DSW修复亚运历史老照片
|
数据可视化
Excel实例:Excel图表可视化:条形图、折线图、散点图和步骤图
Excel实例:Excel图表可视化:条形图、折线图、散点图和步骤图
|
存储 机器学习/深度学习 分布式计算
【DSW Gallery】COMMON_IO使用指南
COMMON_IO模块提供了TableReader和TableWriter两个接口,使用TableReader可以读取ODPS Table中的数据,使用TableWriter可以将数据写入ODPS Table。
【DSW Gallery】COMMON_IO使用指南
|
机器学习/深度学习 数据挖掘 测试技术
DETR即插即用 | RefineBox进一步细化DETR家族的检测框,无痛涨点
DETR即插即用 | RefineBox进一步细化DETR家族的检测框,无痛涨点
652 1
|
安全 Linux 调度
倚天虚拟化:CPU虚拟化原理介绍
虚拟化技术中最关键的技术之一就是CPU虚拟化。在没有硬件辅助虚拟化技术出来之前,通常都是通过TCG(软件进行指令翻译)的方式实现CPU虚拟化。但是由于TCG方式的虚拟化层开销太大,性能太差,因此引入了硬件辅助虚拟化技术。
1818 1