【DSW Gallery】DSW基础使用介绍

简介: PAI-DSW是一款云端机器学习开发IDE,为您提供交互式编程环境,适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。

直接使用

请打开DSW基础使用介绍,并点击右上角 “ 在DSW中打开” 。

image.png


概述

PAI-DSW是一款云端机器学习开发IDE,基于阿里云Docker和Kubernetes等云原生技术,为您提供灵活且开放的AI开发环境。

PAI-DSW集成了开源JupyterLab,并以插件化的形式进行深度定制化开发。您无需任何运维配置,即可进行Notebook编写、调试及运行Python代码。

主要的功能特点如下:

  • 支持实例随时停止和启动、镜像一键保存及开发环境恢复。
  • 提供集成式AI开发环境:
  • 预装常用大数据开发包和算法包,且开放Sudo权限,从而允许安装第三方库。
  • 预装JupyterLab插件,可以提高开发效率。例如Git及TensorBoard。
  • 提供多种官方镜像,可以覆盖多版本主流计算框架。例如TensorFlow及PyTorch。
  • 嵌入WebIDE,可以安装任意插件。
  • 预置PAI的基础能力,包括视觉类算法工具EasyVision(PAI-EasyVision简介)、自动调参工具AutoML(Auto ML自动调参指南)、编译优化及读取MaxCompute表的CommonIO组件。
  • 支持Root权限。

使用的前提条件

  • 如果首次使用PAI-DSW,则需要对相关资源进行访问授权,详情请参见云产品依赖与授权:DSW
  • (可选)已创建完成NAS类数据集。PAI-DSW为您提供临时存储,如果您想永久存储,则需要创建并挂载一个NAS文件系统,并创建为PAI中的NAS类的数据集,便于创建实例是关联此数据集。创建NAS文件系统请参见创建文件系统。创建NAS类数据集请参见创建数据集:从阿里云存储

开始使用环境

进入实例页面

当用户购买并创建DSW(包含JupyterLab、WebIDE、Terminal服务)之后,可以从控制台进入对应实例。 对于关闭中的实例,首先要进行“启动”操作。请注意,启动后实例将进入收费阶段。

start_instance.jpg

当实例处于运行中状态后,可随时“打开”对应实例页面。

37-2.jpg

同时,为了避免实例启动后忘记关闭,可同时配置“自动停止设置”,使得实例可以在指定时间后自动关闭,以停止计费。

37-3.jpg

实例公共功能

进入具体DSW实例后,可通过顶部菜单,切换JupyterLab、WebIDE、Terminal三块功能:

37-4.jpg

另外,顶部菜单的资源水位条,鼠标浮动后可以看到更详细数据:

37-5.jpg

JupyterLab使用介绍

总体介绍

进入JupyterLab页面后,可以看到如下主要区域:

37-6.jpg

其中圈出部分分别为:

  1. 顶部菜单栏
  2. 左侧工具栏
  3. 工具内容面板
  4. 主工作区-快捷创建文件区域
  5. 主工作区-解决方案&功能介绍

左侧工具栏介绍

文件管理

文件管理是左侧最常用的工具栏,是实例下的文件管理器。用来浏览、打开和管理所有文件。

37-7.jpg

打开文件及kernels管理

此工具栏会展示出当前已经打开的kernels,以及已经打开的文件,便于用户快捷切换。

37-8.jpg

Git管理

Git管理工具栏,可以用来clone关联和维护远端的代码仓库,以实现版本可控的开发。

37-9.jpg

文件结构概览

此工具栏,可以针对当前高亮的文件(ipynb或者其他语言代码),展示代码的主要结构。

37-10.jpg

代码片段

这个工具栏,维护了PAI内置的常用代码片段,便于用户在开发过程中

37-11.jpg

解决方案&功能介绍

在Launcher页面的“解决方案&功能”区域,可以看到PAI内置的大量实际业务场景解决方案,以及PAI产品的功能介绍。

37-12.jpg

以解决方案为例,进入更多后,可以通过检索或按分类查找相关内容。

37-13.jpg

点击“下载”,会将指定的内容下载到您当前的DSW实例中。下载完成后,会有成功的提示,并可按照引导到指定的文件目录。

37-14.jpg

按照引导,进入到指定目录后,可以看到下载的压缩包,并可以看到自动解压后的实际文件内容。

37-15.jpg

进入解压后的文件夹,可以看到具体的文件内容,双击进行打开编辑,即可开始实际的使用。

37-16.jpg

WebIDE使用介绍

PAI-DSW内置的WebIDE,最大程度接近桌面端VSCode的功能。用户可以利用WebIDE对python代码,或者是在JupyterLab中编辑的notebook,进行全面灵活的开发与调试。

尤其在notebook开发过程中经常会遇到某段代码的运行结果与预期不符的情况,此时,除多遍阅读代码以外,增加调试级别的日志,并使用在线调试实时查看各变量值和流程跳转,可以帮助您快速定位问题。

您可以参考这篇文章《使用WebIDE在线调试代码》, 了解如何通过PAI-DSW中的WebIDE,在线调试Notebook中运行的Python代码。

37-17.jpg

Terminal使用介绍

进入Terminal工具,可以在命令行终端对实例进行命令操作,且支持root权限。

同时,PAI-DSW已内置PAI核心产品的相关CLI工具,可在Terminal下直接调用使用,详见:

37-18.jpg

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
机器学习/深度学习 人工智能 算法
【DSW Gallery】PAI-DSW快速入门
PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文介绍如何快速上手PAI-DSW。
【DSW Gallery】PAI-DSW快速入门
|
机器学习/深度学习 SQL 存储
机器学习PAI常见问题之资源不足如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
弹性计算 运维 对象存储
如何把阿里云ECS里的文件下载到本地(免登录免配置)
阿里云推出新功能,无需安装额外工具、不需ECS开通公网或登录ECS,仅通过控制台即可将ECS中的文件轻松下载至本地。只需开通OSS对象存储服务,按步骤创建任务,获取临时下载链接,即可在浏览器中直接下载文件。操作简便快捷,适合频繁需要从ECS下载文件的用户。
|
人工智能 物联网 测试技术
使用PAI×LLaMA Factory 微调 Llama3 模型
本次教程介绍了如何使用PAI和LLaMA Factory框架,基于轻量化LoRA方法微调Llama-3模型,使其能够进行中文问答和角色扮演,同时通过验证集ROUGE分数和人工测试验证了微调的效果。在后续实践中,可以使用实际业务数据集,对模型进行微调,得到能够解决实际业务场景问题的本地领域大模型。
使用PAI×LLaMA Factory 微调 Llama3 模型
|
机器学习/深度学习 人工智能 并行计算
【DSW Gallery】DSW镜像使用入门
介绍DSW中如何使用官方镜像、自定义镜像、第三方镜像地址来启动服务。DSW环境进行定制修改之后还可以选择停机保存环境或者保存镜像到ACR镜像仓库。
【DSW Gallery】DSW镜像使用入门
|
存储 机器学习/深度学习 分布式计算
【DSW Gallery】COMMON_IO使用指南
COMMON_IO模块提供了TableReader和TableWriter两个接口,使用TableReader可以读取ODPS Table中的数据,使用TableWriter可以将数据写入ODPS Table。
【DSW Gallery】COMMON_IO使用指南
|
弹性计算 并行计算 UED
GPU实例使用--自动安装NVIDIA GPU驱动和CUDA组件
GPU 云服务器正常工作需提前安装正确的基础设施软件,对于搭载了 NVIDIA 系列 GPU卡的实例而言,如果把 NVIDIA GPU 用作通用计算,则需安装 NVIDIA GPU 驱动、 CUDA、cuDNN等软件。
102476 3
|
缓存 分布式计算 监控
DSW、DLC、EAS
DSW、DLC、EAS 是分别表示 "分布式共享内存"、"数据加载与缓存"、"增强型自动调度"的缩写,是 tuemo 工具中常用的三种技术。 1. DSW 分布式共享内存(Distributed Shared Memory)
1456 1
|
Linux 开发工具 git
阿里云dsw实例git clone Hugging Face
因为网络及python包版本的原因,dsw实例在使用git指令下载hugging face资源的时候,总是会出现这样或那样的问题,本文基于实际测试遇到的情况,给出对应的解决方案。
4516 1
|
网络安全 数据安全/隐私保护 C++
使用VS Code连接远程服务器
使用VS Code连接远程服务器
9555 0
使用VS Code连接远程服务器