【DSW Gallery】企业和团队如何使用PAI-DSW协作开发

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: DSW提供完善的实例管理、资源管理、权限管理等功能,助力企业或团队,完成多人协作的开发工作。

直接使用

请打开基于企业和团队如何使用PAI-DSW协作开发,并点击右上角 “ 在DSW中打开” 。

image.png


概述

PAI-DSW集成了开源JupyterLab、WebIDE等工具,并以插件化的形式进行深度定制化开发。您无需任何运维配置,即可进行Notebook编写、调试及运行Python代码。同时,PAI-DSW基于AI工作空间,提供了丰富的实例资源管理,以及权限管理等能力,助力企业和团队,实现多人的灵活协作开发。

本文针对企业和同队协作场景下,PAI-DSW的使用和管理功能进行简单介绍。

AI工作空间介绍

工作空间是PAI的顶层概念,为团队提供统一的计算资源管理及人员权限管理能力,目的就是为AI开发者提供支持团队协作的全流程开发工具及AI资产管理能力。 PAI平台在开通时,会自动给用户 创建默认的工作空间 关于AI工作空间的更多使用介绍,可参考文档:管理工作空间

操作账号授权:DSW通用权限

为了确保PAI-DSW能够正常提供服务,您需要确认当前操作主账号拥有DSW通用权限,通常在开通并创建默认工作空间时,会统一进行授权操作,您可以根据下文参考:检查账号是否关联AliyunPAIDSWDefaultRole这一角色来检查当前账号是否已经具有DSW通用权限,如果没有,您可参考下文单独进行授权操作。

  1. 进入DSW页面。
  1. 登录PAI控制台
  2. 在概览页面选择目标地域。
  3. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  4. 在工作空间页面的左侧导航栏选择模型开发和训练 > 交互式建模(DSW),进入DSW页面。
  1. 授权AliyunPAIDSWDefaultRole角色。
  1. 单击创建实例。
  2. 在角色授权对话框,单击去授权。
  3. 在云资源访问授权页面,单击同意授权。在云资源访问授权页面,系统自动配置PAI-DSW需要的关联角色,无需手动配置。

操作账号授权:主账号授权RAM用户部分DSW实例操作权限

阿里云主账号可以授权RAM用户部分PAI-DSW实例细化的操作权限,包括创建、启动、停止及删除EAS实例。操作如下。

  1. 登录RAM控制台。
  2. 创建自定义权限策略。
  1. 在左侧导航栏,选择权限管理 > 权限管理策略。
  2. 在权限管理策略页面,单击创建权限策略。
  3. 在创建权限策略页面,单击脚本编辑,输入策略内容,单击下一步。
  4. 在创建权限策略页面,配置参数。
  5. 点击确定。
  1. 为RAM用户授权细化的DSW操作权限。
  1. 在左侧导航栏,选择身份管理 > 用户。
  2. 在用户页面,单击操作列下的添加权限。
  3. 可选:在添加权限面板,单击自定义策略。
  4. 在选择权限下的文本框,输入DSW_Notebook_Access。
  5. 单击权限策略名称下的DSW_Notebook_Access,使其显示在已选择列表中。
  6. 单击确定。

PAI访问云产品授权:NAS

授权PAI访问相关云产品NAS时,PAI为您提供了一键授权入口,操作详情如下。

  1. 登录PAI控制台
  2. 在左侧导航栏单击全部云产品依赖,在DSW功能模块下找到NAS。
  3. 在操作列查看NAS的授权状态。
  • 如果还未授权,请单击操作列后的去授权,根据界面提示完成授权操作。
  • 如果已完成授权,可单击操作列后的查看授权信息,查看授权的详细信息。

实例创建

当完成以上的工作空间创建操作,用户就可以进入工作空间,进行DSW实例的创建和管理。

通过控制台创建实例

  1. 进入DSW页面。
  1. 登录PAI控制台
  2. 在概览页面选择目标地域。
  3. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  4. 在工作空间页面的左侧导航栏选择模型开发和训练 > 交互式建模(DSW),进入DSW页面。
  1. 单击创建实例。
  2. 在配置实例向导页面,配置参数。
  3. 单击确认订单。
  4. 核对订单信息,勾选同意服务条款后,单击创建实例。

通过Python SDK创建实例

  1. 安装Python SDK
!pip install alibabacloud_tea_openapi
!pip install alibabacloud_pai_dsw20210226
  1. 创建一个PAI-DSW实例 创建PAI-DSW实例时,需要使用阿里云账号的AccessKey。关于如何获取AccessKey,请参见获取AccessKey。创建实例的代码示例如下所示,关于更多接口的说明,请参见API参考
from alibabacloud_pai_dsw20210226.client import Client
from alibabacloud_pai_dsw20210226.models import *
from alibabacloud_tea_openapi.models import Config
# 初始化一个Client以访问PAI-DSW的API。
region = 'cn-hangzhou'
client = Client(
    Config(
        access_key_id='<替换成您的AccessKey ID>',
        access_key_secret='<替换成您的AccessKey Secret>',
        region_id=region,
        endpoint=f'pai-dsw.{region}.aliyuncs.com'
    )
)
# 验证是否已经为PAI-DSW的服务账号授权。
response = client.get_authorization()
authorized = response.body.authorized
# 如果授权,则进行后续的创建操作。
if authorized:
    # 获取官方镜像列表。
    images = client.list_images(ListImagesRequest(accelerator_type_equals="cpu")).body.images
    # 挑选其中一个镜像。
    image = images[0]
    # 获取实例规格列表。
    ecs_specs = client.list_ecs_specs(ListEcsSpecsRequest(accelerator_type_equals="cpu")).body.ecs_specs
    # 挑选其中一个实例规格。
    ecs_spec = ecs_specs[0]
    # 声明PAI-DSW实例的属性。
    request = CreateInstanceRequest(
        instance_name="myFirstInstance",
        image_id=image.image_id,
        ecs_spec=ecs_spec.instance_type)
    # 提交创建PAI-DSW实例。
    response = client.create_instance(request)
    # 获取PAI-DSW实例ID。
    instance_id = response.body.instance_id
    # 查询PAI-DSW实例状态。
    instance = client.get_instance(instance_id).body
    print('instance status:', instance.instance_status)

实例管理

用户可针对已创建的DSW实例,进行相关的管理操作。

停止实例

  1. 进入交互式建模(DSW)。
  2. 单击对应实例操作列下的停止。
  3. 在执行停止操作的确认对话框,选择停止方式。PAI-DSW实例支持两种停止方式:
  • 保存环境然后停止:如果您对默认环境进行了修改(例如安装了软件包或pip包),建议选择该方式。
  • 直接停止:如果未修改默认环境,通常选择直接停止。

实例停止后,其状态变为停止,此时对于后付费实例,系统停止计费。退出PAI-DSW时,确保您的实例处于停止状态,否则可能产生不必要的费用。

为了避免实例启动后忘记关闭,可同时配置“自动停止设置”,使得实例可以在指定时间后自动关闭,以停止计费。

8-1.jpg

Fig.1 - 配置实例自动停止

启动实例

如果实例处于停止状态,则可以手动启动。

  1. 进入交互式建模(DSW)。
  2. 单击对应实例操作列下的启动。 实例启动后,其状态变为运行中,此时对于后付费实例,系统开始计费。完成训练后,建议您及时停止实例,以免产生不必要的费用。

删除实例

如果不再进行训练,则可以删除实例。实例删除后,其数据无法恢复。

  1. 进入交互式建模(DSW)。
  2. 单击对应实例操作列下的删除。
  3. 在删除对话框,单击确定

实例共享

实例准备

DSW支持实例共享,允许同一个工作空间内的多个成员共享使用同一个DSW实例。

要共享的实例,需要在实例创建阶段进行配置,详细步骤为:

  1. 进入DSW页面。
  1. 登录PAI控制台
  2. 在概览页面选择目标地域。
  3. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  4. 在工作空间页面的左侧导航栏选择模型开发和训练 > 交互式建模(DSW),进入DSW页面。
  1. 单击创建实例。
  2. 在配置实例向导页面,配置参数。

可以通过设置以下参数,来将实例与他人分享:

8-2.jpg

Fig.2 - 设置工作空间可见范围

参数默认为“仅自己可见”,当选择“工作空间内公开可见”后,可对同一工作空间的所有成员可见。

  1. 单击确认订单。
  2. 核对订单信息,勾选同意服务条款后,单击创建实例。

工作空间成员管理

在工作空间详情页面,单击工作空间成员后面的编辑,即可进入成员管理面板。

  1. 进入成员管理面板。
  2. 在成员管理面板,单击添加成员。
  3. 在添加成员对话框,配置如下参数。

8-3.jpg

Fig.3 - 管理工作空间成员

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
机器学习/深度学习
大模型开发:解释正则化及其在机器学习中的作用。
正则化是防止机器学习过拟合的技术,通过限制模型参数和控制复杂度避免过拟合。它包含L1和L2正则化,前者产生稀疏解,后者适度缩小参数。选择合适的正则化方法和强度对模型性能关键,常用交叉验证评估。
|
1月前
|
机器学习/深度学习 数据采集 监控
大模型开发:描述一个典型的机器学习项目流程。
机器学习项目涉及问题定义、数据收集、预处理、特征工程、模型选择、训练、评估、优化、部署和监控。每个阶段都是确保模型有效可靠的关键,需要细致操作。
33 0
|
10月前
|
机器学习/深度学习 人工智能 编解码
阿里 DSW 试用心得——用 PAI-DSW 修复老照片
通过试用阿里 DSW 了解了命令行和 SD WebUI 两种方式进行老照片修复的相关知识
712 1
阿里 DSW 试用心得——用 PAI-DSW 修复老照片
|
机器学习/深度学习 存储 数据采集
工业场景全流程!机器学习开发并部署服务到云端 ⛵
本文以保险金额预估为例,讲解机器学习从开发到云端服务部署的全流程:基于PyCaret开发机器学习全流程、基于Flask搭建简易前端Web应用程序、在Heroku云上部署机器学习应用。
886 2
工业场景全流程!机器学习开发并部署服务到云端 ⛵
|
1月前
|
机器学习/深度学习 人工智能 监控
2、【KV260开发】yolov4模型训练、量化、编译、部署
2、【KV260开发】yolov4模型训练、量化、编译、部署
24 0
|
1月前
|
机器学习/深度学习 分布式计算 监控
大模型开发:你如何使用大数据进行模型训练?
在大数据模型训练中,关键步骤包括数据准备(收集、清洗、特征工程、划分),硬件准备(分布式计算、并行训练),模型选择与配置,训练与优化,监控评估,以及模型的持久化与部署。过程中要关注数据隐私、安全及法规遵循,利用技术进步提升效率和性能。
200 2
|
1月前
|
机器学习/深度学习 分布式计算 算法
大模型开发:你如何确定使用哪种机器学习算法?
在大型机器学习模型开发中,选择算法是关键。首先,明确问题类型(如回归、分类、聚类等)。其次,考虑数据规模、特征数量和类型、分布和结构,以判断适合的算法。再者,评估性能要求(准确性、速度、可解释性)和资源限制(计算资源、内存)。同时,利用领域知识和正则化来选择模型。最后,通过实验验证和模型比较进行优化。此过程涉及迭代和业务需求的技术权衡。
|
9月前
|
机器学习/深度学习 数据采集 存储
开发机器学习应用程序的步骤
开发机器学习应用程序的步骤
87 0
|
1月前
|
人工智能
全方位解析PAI:数据准备、模型开发、模型训练一网打尽
全方位解析PAI:数据准备、模型开发、模型训练一网打尽 随着人工智能技术的飞速发展,越来越多的企业开始关注并投入到AI的研发中。然而,AI的研发并非易事,从数据准备、模型开发、模型训练到模型服务,每一个环节都需要专业的工具和平台来支持。阿里云的PAI(Powered by AI)正是一个涵盖了数据准备、模型开发、模型训练、模型服务全流程的AI工作平台。本文将为您详细介绍PAI的各个子产品的产品线上规格及使用指引。
62 2
|
1月前
|
机器学习/深度学习 数据采集 人工智能
Python可以应用于多个领域,如Web开发、数据分析、机器学习等
Python可以应用于多个领域,如Web开发、数据分析、机器学习等

热门文章

最新文章

相关产品

  • 人工智能平台 PAI