【DSW Gallery】DSW Gallery

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: DSW Gallery提供了AI研发场景下丰富的案例和解决方案,内容涵盖如: Jupyter, 数据分析,机器学习,深度学习,PAI产品说明, SDK使用说明,以及行业解决方案),支持一键在DSW中启动和运行,帮助您快速了解云原生下AI研发流程,熟练使用PAI的各种工具,提升开发效率和质量。

直接使用

请打开DSW Gallery,并点击右上角 “ 在DSW中打开” 。

image.png


DSW Gallery

DSW Gallery提供了AI研发场景下的丰富的案例和解决方案,内容涵盖如: PAI/DSW功能介绍,阿里云产品使用方法(包括SDK或CLI工具),数据科学,深度学习,以及行业解决方案,支持在DSW中快速启动,帮助您快速熟悉云原生下的AI研发流程,并且使用PAI、阿里云等产品,提升研发的效率和质量。

前提条件

  • 阿里云账号
  • 开通PAI
  • 至少有一个正在运行的DSW实例
  • OSS, MaxCompute, NAS, Dataworks(根据需要自行开通)

⌨️ 使用方法

DSW Gallery所提供的案例至少包含3个部分

  1. 摘要:标题、描述、标签
  2. 文档:案例使用文档(详细的步骤说明以及相关代码,图表等)
  3. 资源:ipynb及相关代码, 可被DSW加载并执行

摘要

如何快速找到需要的案例?

  • DSW Gallery 可以根据案例摘要中的关键词进行模糊查询。您可以使用标题或描述中的关键词,或者选择感兴趣的标签,见 Fig.1 中的 ① ② ③。
  • ① 按案例标题和描述模糊搜索
  • ② 按类型展示案例
  • ③ 按标签检索,点击标签,检索出包含该标签的所有案例
  • DSW Gallery 支持多个关键词组合查询,权重从高到低,依次排序。例如: 当两个条件组合查询时:先查找“阿里云产品”下的案例,然后在前一个条件的查询结果中继续查找满足“名称或描述 odp”的案例。

32-1.png

Fig.1 - Search Sample in Gallery

文档

文档展示的是案例的使用方法或使用细节,大致包含三部分:

  1. 前提条件:使用案例的必要条件(MaxCompute, HDFS, Dataworks, EAS, DLC, PAIFlow, NNI, Automl, Blade等)
  2. 运行环境:DSW实例规格(CPU/MEM/GPU), Docker镜像版本
  3. 详细步骤:实际操作的每一步的代码,命令以及执行后输出的图片,图表等

资源

在浏览案例文档之后,如果您对此非常感兴趣,可以一键加载案例到DSW实例中。在点击“在DSW中打开”,选择“AI工作空间”之后,默认会选择当前“AI工作空间”下正在运行的DSW实例。以Fig.2为例:

  • ① 文档右上角 “在DSW中打开” 按钮
  • ② 如果没有您需要的工作空间,请点击链接前往创建
  • ③ 如果您在此工作空间内无任何运行中DSW实例,请点击链接前往创建
  • ④ DSW实例选择之后,点击确定,前往DSW。

32-2.png

Fig.2 - Open Sample in DSW

Warning

  1. DSW实例规格应不低于案例文档中运行环境所要求的实例规格,镜像版本保持一致。 见Fig.3
  2. 如果您没有工作空间且账户管理员。需要您联系账户管理员将您添加到任意工作空间并授予算法开发的角色。 具体操作方式可参考文档
  3. 如果DSW实例之前已打开过该案例,再次点击案例的在DSW中打开之后,DSW会提示案例所在路径。您有两个选择,见Fig.4
  • 根据提示,前往案例所在路径
  • 重新下载案例到另一个路径32-3.png

Fig.3 - 检查DSW的实例规格,镜像版本

32-4.png

Fig.4 - 案例已存在,提示重新下载

📚案例

产品功能

DSW是一款云端机器开发IDE,下面的文档可以帮助您更快地上手DSW。

  • DSW开通与授权 PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文用于帮助您快速开通DSW以及授权子账号使用。
  • DSW实例管理 本文简述如何在DSW控制台管理DSW实例。
  • 数据挂载(OSS, NAS) 本文简述如何将管理DSW的数据,包括(NAS, OSS)等数据挂载。
  • 镜像管理 PAI-DSW依托于容器技术提供开箱即用的机器学习开发环境,每个DSW实例使用一个镜像来启动容器,容器里运行Jupyterlab、VSCode、Terminal,用户进入容器之后使用Jupyterlab启动Kernel或者在Terminal上用shell命令启动进程的方式启动机器学习任务。
  • VPC网络配置 PAI-DSW实例运行于PAI的托管VPC中,默认情况下与用户的VPC网络是隔离的。本文带您了解在PAI-DSW实例中如何访问VPC服务,例如读取VPC RDS中的数据、clone VPC中部署的git中的代码等。
  • 企业资源管理:实例共享,权限管理 PAI-DSW基于AI工作空间,提供了丰富的实例资源管理,以及权限管理等能力,助力企业和团队,实现多人的灵活协作开发。
  • 付费模式 PAI-DSW售卖方式目前有按量付费(个人版)、按资源组付费(公测中)两种形态。本文带您了解PAI-DSW的付费模式。
  • DSW IDE介绍 PAI-DSW集成了开源JupyterLab,并以插件化的形式进行深度定制化开发。您无需任何运维配置,即可进行Notebook编写、调试及运行Python代码。本文介绍了(JupyterLab, WebIDE, Terminal)的使用方法。

阿里云产品使用文档

阿里云产品(如:阿里云对象存储OSS,阿里云数仓服务MaxCompute, 阿里云PAI云原生AI基础平台PAI-DLC, 在线预测PAI-EAS等)提供了SDK和CLI工具,DSW与这些产品结合使用,帮助您加快模型的开发和部署

  • MaxCompute(ODPS)是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,提供离线和流式数据的接入,支持大规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决方案及分析建模>服务。PAI-DSW支持以下三种方式读写MaxCompute(ODPS)表数据。
  • PyOdps使用指南, PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS,并且能够用于实际项目。
  • PAIIO使用指南, PAIIO是针对TensorFlow任务读取MaxCompute Table数据专门开发的模块,提供了TableRecordDataset dataset,您可以方便的使用TableRecordDataset构建TF任务。
  • COMMON_IO使用指南, COMMON_IO提供了简洁易用的TableReader和TableWriter两个接口,您可以使用COMMON_IO方便的读写MaxCompute Table数据,如果您想读取MaxCompute Table数据构建PyTorch任务,也推荐使用COMMON_IO。
  • OSS 使用指南 阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。

深度学习

PAI提供了面向多种场景下的深度学习模型 python sdk, 如:EasyVision(视觉智能增强算法包), EasyTransfer 自然语言处理(NLP), EasyASR(语音智能增强算法包), EasyCompression(模型压缩)。

  • EasyCV图像分类 本文将介绍如何在pai-dsw基于EasyCV快速使用Resnet50进行图像分类模型的训练、推理。
  • 使用EasyVision进行目标检测 EasyVision(视觉智能增强算法包)提供多种模型的训练及预测功能,旨在帮助计算机视觉应用开发者方便快捷地构建视觉模型并应用于生产。本文以目标检测为例,为您介绍如何在PAI-DSW中使用EasyVision。
  • EasyNLP文本分类 本文将介绍如何在pai-dsw基于EasyNLP快速使用BERT进行文本分类模型的训练、推理。
  • Hugging Face介绍 Hugging Face(简称HF,官网地址)最开始是专注于NLP技术的大型开源社区,在github上开源的自然语言处理预训练模型库Transformers已被下载超过百万次,github上超过64000颗星。本文介绍如何使用Python SDK访问HF。

数据科学

  • Kaggle竞赛之房价预测 本文展示如何利用一个包含数值类型,和非数值类型的数据集来做特征工程,和最终实现效果比较好的回归,是一个非常好的数据分析的例子,其中涉及到了Panda和SKLearn的应用。
  • scikit-learn cookbook 本文介绍sklearn在机器学习中的应用

其他

  • Tensorflow2 And Keras Tensorflow 2是Google公司基于Tensorflow 1开发的深度学习框架。本文介绍了TF2.0的常用API.
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
存储 机器学习/深度学习 人工智能
【DSW Gallery】DSW基础使用介绍
PAI-DSW是一款云端机器学习开发IDE,为您提供交互式编程环境,适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。
【DSW Gallery】DSW基础使用介绍
|
机器学习/深度学习 人工智能 算法
【DSW Gallery】PAI-DSW快速入门
PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文介绍如何快速上手PAI-DSW。
【DSW Gallery】PAI-DSW快速入门
|
机器学习/深度学习 人工智能 自然语言处理
【DSW Gallery】基于EasyNLP的中文信息抽取
EasyNLP提供多种模型的训练及预测功能,旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文信息抽取为例,为您介绍如何在PAI-DSW中基于EasyNLP快速使用K-Global Pointer算法进行中文信息抽取模型的训练、评估、推理。
【DSW Gallery】基于EasyNLP的中文信息抽取
|
分布式计算 监控 PyTorch
【DSW Gallery】如何在DLC上提交ElasticBatch任务
ElasticBatch是一种分布式离线弹性批量推理作业类型, 本文将介绍ElasticBatch SDK接口以及如何在DLC上提交ElasticBatch任务。
【DSW Gallery】如何在DLC上提交ElasticBatch任务
|
机器学习/深度学习 人工智能 Kubernetes
【DSW Gallery】介绍如何使用命令行工具提交DLC任务
本文介绍如何使用DLC命令行工具提交任务到指定的工作空间内. 同时,会介绍如何提交预付费和后付费的DLC训练任务
【DSW Gallery】介绍如何使用命令行工具提交DLC任务
|
人工智能 并行计算 算法
【DSW Gallery】基于MOCOV2的自监督学习示例
EasyCV是基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具,并包含图像分类,度量学习,目标检测,姿态识别等视觉任务的SOTA算法。本文以自监督学习-MOCO为例,为您介绍如何在PAI-DSW中使用EasyCV。
【DSW Gallery】基于MOCOV2的自监督学习示例
|
算法 PyTorch 算法框架/工具
【DSW Gallery】基于EasyCV的视频分类示例
EasyCV是基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具,并包含图像分类,度量学习,目标检测,姿态识别等视觉任务的SOTA算法。本文以视频分类为例,为您介绍如何在PAI-DSW中使用EasyCV。
【DSW Gallery】基于EasyCV的视频分类示例
|
文字识别 并行计算 算法
【DSW Gallery】基于EasyCV的文字识别示例
EasyCV是基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具,并包含图像分类,度量学习,目标检测,姿态识别等视觉任务的SOTA算法。本文以文字识别为例,为您介绍如何在PAI-DSW中使用EasyCV。
【DSW Gallery】基于EasyCV的文字识别示例
|
机器学习/深度学习 人工智能 并行计算
【DSW Gallery】DSW镜像使用入门
介绍DSW中如何使用官方镜像、自定义镜像、第三方镜像地址来启动服务。DSW环境进行定制修改之后还可以选择停机保存环境或者保存镜像到ACR镜像仓库。
【DSW Gallery】DSW镜像使用入门
|
Shell 开发者 Python
【DSW Gallery】Jupyter简介
JupyterNotebook是一个用于编写Jupyter Notebook的Python环境。本文介绍Jupyter Notebook的常用使用技巧,包括shell命令,测试运行时间等使用方法。
【DSW Gallery】Jupyter简介