直接使用
请打开DSW Gallery,并点击右上角 “ 在DSW中打开” 。
DSW Gallery
DSW Gallery提供了AI研发场景下的丰富的案例和解决方案,内容涵盖如: PAI/DSW功能介绍,阿里云产品使用方法(包括SDK或CLI工具),数据科学,深度学习,以及行业解决方案,支持在DSW中快速启动,帮助您快速熟悉云原生下的AI研发流程,并且使用PAI、阿里云等产品,提升研发的效率和质量。
前提条件
- 阿里云账号
- 开通PAI
- 至少有一个正在运行的DSW实例
- OSS, MaxCompute, NAS, Dataworks(根据需要自行开通)
⌨️ 使用方法
DSW Gallery所提供的案例至少包含3个部分
- 摘要:标题、描述、标签
- 文档:案例使用文档(详细的步骤说明以及相关代码,图表等)
- 资源:ipynb及相关代码, 可被DSW加载并执行
摘要
如何快速找到需要的案例?
- DSW Gallery 可以根据案例摘要中的关键词进行模糊查询。您可以使用标题或描述中的关键词,或者选择感兴趣的标签,见
Fig.1
中的 ① ② ③。 - ① 按案例标题和描述模糊搜索
- ② 按类型展示案例
- ③ 按标签检索,点击标签,检索出包含该标签的所有案例
- DSW Gallery 支持多个关键词组合查询,权重从高到低,依次排序。例如: 当两个条件组合查询时:先查找“阿里云产品”下的案例,然后在前一个条件的查询结果中继续查找满足“名称或描述 odp”的案例。
Fig.1 - Search Sample in Gallery
文档
文档展示的是案例的使用方法或使用细节,大致包含三部分:
- 前提条件:使用案例的必要条件(MaxCompute, HDFS, Dataworks, EAS, DLC, PAIFlow, NNI, Automl, Blade等)
- 运行环境:DSW实例规格(CPU/MEM/GPU), Docker镜像版本
- 详细步骤:实际操作的每一步的代码,命令以及执行后输出的图片,图表等
资源
在浏览案例文档之后,如果您对此非常感兴趣,可以一键加载案例到DSW实例中。在点击“在DSW中打开”,选择“AI工作空间”之后,默认会选择当前“AI工作空间”下正在运行的DSW实例。以Fig.2
为例:
- ① 文档右上角 “在DSW中打开” 按钮
- ② 如果没有您需要的工作空间,请点击链接前往创建
- ③ 如果您在此工作空间内无任何运行中DSW实例,请点击链接前往创建
- ④ DSW实例选择之后,点击
确定
,前往DSW。
Warning
- DSW实例规格应不低于案例文档中运行环境所要求的实例规格,镜像版本保持一致。 见
Fig.3
- 如果您没有工作空间且账户管理员。需要您联系账户管理员将您添加到任意工作空间并授予算法开发的角色。 具体操作方式可参考文档
- 如果DSW实例之前已打开过该案例,再次点击案例的
在DSW中打开
之后,DSW会提示案例所在路径。您有两个选择,见Fig.4
- 根据提示,前往案例所在路径
- 重新下载案例到另一个路径
📚案例
产品功能
DSW是一款云端机器开发IDE,下面的文档可以帮助您更快地上手DSW。
- DSW开通与授权 PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文用于帮助您快速开通DSW以及授权子账号使用。
- DSW实例管理 本文简述如何在DSW控制台管理DSW实例。
- 数据挂载(OSS, NAS) 本文简述如何将管理DSW的数据,包括(NAS, OSS)等数据挂载。
- 镜像管理 PAI-DSW依托于容器技术提供开箱即用的机器学习开发环境,每个DSW实例使用一个镜像来启动容器,容器里运行Jupyterlab、VSCode、Terminal,用户进入容器之后使用Jupyterlab启动Kernel或者在Terminal上用shell命令启动进程的方式启动机器学习任务。
- VPC网络配置 PAI-DSW实例运行于PAI的托管VPC中,默认情况下与用户的VPC网络是隔离的。本文带您了解在PAI-DSW实例中如何访问VPC服务,例如读取VPC RDS中的数据、clone VPC中部署的git中的代码等。
- 企业资源管理:实例共享,权限管理 PAI-DSW基于AI工作空间,提供了丰富的实例资源管理,以及权限管理等能力,助力企业和团队,实现多人的灵活协作开发。
- 付费模式 PAI-DSW售卖方式目前有按量付费(个人版)、按资源组付费(公测中)两种形态。本文带您了解PAI-DSW的付费模式。
- DSW IDE介绍 PAI-DSW集成了开源JupyterLab,并以插件化的形式进行深度定制化开发。您无需任何运维配置,即可进行Notebook编写、调试及运行Python代码。本文介绍了(JupyterLab, WebIDE, Terminal)的使用方法。
阿里云产品使用文档
阿里云产品(如:阿里云对象存储OSS,阿里云数仓服务MaxCompute, 阿里云PAI云原生AI基础平台PAI-DLC, 在线预测PAI-EAS等)提供了SDK和CLI工具,DSW与这些产品结合使用,帮助您加快模型的开发和部署
- MaxCompute(ODPS)是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,提供离线和流式数据的接入,支持大规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决方案及分析建模>服务。PAI-DSW支持以下三种方式读写MaxCompute(ODPS)表数据。
- PyOdps使用指南, PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS,并且能够用于实际项目。
- PAIIO使用指南, PAIIO是针对TensorFlow任务读取MaxCompute Table数据专门开发的模块,提供了TableRecordDataset dataset,您可以方便的使用TableRecordDataset构建TF任务。
- COMMON_IO使用指南, COMMON_IO提供了简洁易用的TableReader和TableWriter两个接口,您可以使用COMMON_IO方便的读写MaxCompute Table数据,如果您想读取MaxCompute Table数据构建PyTorch任务,也推荐使用COMMON_IO。
- OSS 使用指南 阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。
深度学习
PAI提供了面向多种场景下的深度学习模型 python sdk, 如:EasyVision(视觉智能增强算法包), EasyTransfer 自然语言处理(NLP), EasyASR(语音智能增强算法包), EasyCompression(模型压缩)。
- EasyCV图像分类 本文将介绍如何在pai-dsw基于EasyCV快速使用Resnet50进行图像分类模型的训练、推理。
- 使用EasyVision进行目标检测 EasyVision(视觉智能增强算法包)提供多种模型的训练及预测功能,旨在帮助计算机视觉应用开发者方便快捷地构建视觉模型并应用于生产。本文以目标检测为例,为您介绍如何在PAI-DSW中使用EasyVision。
- EasyNLP文本分类 本文将介绍如何在pai-dsw基于EasyNLP快速使用BERT进行文本分类模型的训练、推理。
- Hugging Face介绍 Hugging Face(简称HF,官网地址)最开始是专注于NLP技术的大型开源社区,在github上开源的自然语言处理预训练模型库Transformers已被下载超过百万次,github上超过64000颗星。本文介绍如何使用Python SDK访问HF。
数据科学
- Kaggle竞赛之房价预测 本文展示如何利用一个包含数值类型,和非数值类型的数据集来做特征工程,和最终实现效果比较好的回归,是一个非常好的数据分析的例子,其中涉及到了Panda和SKLearn的应用。
- scikit-learn cookbook 本文介绍sklearn在机器学习中的应用
其他
- Tensorflow2 And Keras Tensorflow 2是Google公司基于Tensorflow 1开发的深度学习框架。本文介绍了TF2.0的常用API.