阿里云机器学习 PAI-DSW 介绍|学习笔记

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 快速学习阿里云机器学习 PAI-DSW 介绍。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:阿里云机器学习 PAI-DSW 介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14229


阿里云机器学习 PAI-DSW 介绍

 

内容介绍:

一、PAI-DSW 产品简介

二、底层架构

三、版本区别

四、产品使用演示

 

PAI-DSW 是一个怎样的产品,以及它的底层架构,目前的版本区别,产品的演示。从创建实例,管理实例到保存进项到导出进项这个流程来进行产品的演示。

 

一、PAI-DSW 产品简介

 图片15.png

它作为一款简单、清亮,即开即用的在线交互式开发环境,为用户提供了在云端就可以简单,快速卡起能力。同时底层支持了绑定存储,使得文件可以做永久化的存储和分享。还可以通过 ESCMB 的方式讲 PAI-DSW 获得的训练模型部署为接口,对外提供模型服务,从而实现了一站式的学习。

 

二、底层架构

图片16.png

在产品的架构上我们从最底层的计算资源,网络,以及存储资源做容器做虚拟化技术的一个整合。在上层构建了PAI-DSW 来支持各种各样的开源算法框架。包括但不限制于 Sklearn/TensorFlow/PyTorch 等等。同时在这上层支持了各种场景的应用。包括数据科学、支持学习、以及深度学习等。在阿里巴巴集团内外等多个场景和行业都有非常深度的使用。

 

三、版本区别

针对于 DSW 的两个产品进行简要的介绍

图片17.png

1、首先是商用付费的个人版本

支持 GPU,同时在付费方式上支持按量付费及后付费的方式。

在内存以及 CPU 核数和实力存储空间的限制上是自行选择没有上限的。同时在网络访问上也没有限制。最后在ROOT权限以及运行环境 IMAGE 选择的功能上都是支持的。

2、免费的探索者版本

支持 GPU 同时在付费方式上支持限时免费的模式。

在内存和 CPU 核数上是2个 CPU 加4GB 的内存。对于实例存储空间的限制来说,是5GB 的空间限制。对于网络访问来说,CPU 型没有限制而 GPU 型不能访问公网。

目前探索者版本不支持 ROOT 权限和运行环境 IMAGE 选择。

 

四、产品使用演示

在登录阿里云官网之后可以点击产品下的人工智能一栏,入口在机器学习平台 PAI 下面。进入之后可以看到产品规格页面一栏下的 DSW 探索者版本,可以点击进去进行体验。

图片18.png

在点击进入之后只要登陆阿里云账号就可以快速拉起一个实例。

如果之前没有拉起过实例的话,需要等待10秒左右的时间。后续如果拉起的话就可以直接打开使用了。

进入这个页面之后可以看到 DSW 实际上是集成了 RELB 的同时内置了丰富的数据开发和机器学习的算法以及多种的计算资源。

可以使用 NOTEBOOK 来进行相关代码的编写以及命令行的输入。

看完了免费的探索者版本现在可以前往控制台查看个人版本的实例。

在模型开发和训练的交互式建模页面可以查询到个人版本的所有实例。

图片19.png

在 DSW 的页面下点击创建实例来创建一个新的 DSW 实例。

在机器学习的购买页面,可以对实例名称进行命名。其他的属性选择默认的选项。

图片20.png

而存储是实例自带存储盘为临时存储。在删除之后会清空。如果需要数据永久化的存储,可以配置一个文件系统。

点击前往控制台创建一个新的系统

图片21.png

这里可以选择通用型的 NAS 文件系统,由于之前已经购买过,选择之前使用过的文件存储方式。

在选择镜像的时候有两个选择方式,官方镜像和自定义的镜像。

可以输入官方可以公共访问的地址来进行镜像的配置,这里选择官方的镜像即可。点击确认订单进行购买。实例会等待一段时间进行创建。

在实例创建完成之后,可以在 DSW 的界面列表下看到实例名称为 DEMO 的实例,状态是正在运行中。打开这个DSW实例,进入到 DSW 页面之后可以在左侧看到两级功能导航栏,分别是文件的查看模块、天池模块、运行模块、commons 模块、教程模块、属性查看模块以及相关的功能子模块。

在右侧的 console 组界面下可以点击 notebook 下的 python3,来打开一个 python 文件。进入到交互式的python编程界面之后,点击右上角选择一个目前正在进行的 kernel。这一选择是 python3,同时可以在项目里面进行一个编程。在编程完成之后选择导出文件。

有两种到处方式:1、条件导航栏下选择该文件右键点击下载即可;2、点击 file 下的导出 notebook导出python格式的一个文件。

更多的说明可以点击左侧第四个文件查看,里面包括了任务配置

数据分析、机器学习、资源管理等说明。可以点击其中一个说明文档,这里是 PAIAUTOML 超参调优进阶,可以编制相关的代码进行跟步骤的操作。

更多的帮助文档可以点击右上方的帮助文档进行说明的查看。在使用说明下面列出了创建实例、管理实例以及MaxCompute 的读写操作。

更多的实践案例可以在页面中看到一些具体的开发者的最佳实践。

同时 DSW 也支持 API 来进行管理,大家可以使用 pythonSDK 来管理 DSW 实例的生命周期。

在 DSW 实例编写完代码之后,可以点击列表右侧的保存连接进行镜像的保存。在这里可以自定义镜像的名称。如果镜像命名空间和镜像仓库没有新建的话可以创建新的命名空间和新的镜像仓库,进行保存。

图片22.png

保存完成的镜像可以在镜像仓库内查看到具体的地址;同时在创建新的实例的时候也可以复制该地址到自定义镜像进行实例的创建。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
人工智能 自然语言处理 安全
通过阿里云Milvus与PAI搭建高效的检索增强对话系统
阿里云向量检索Milvus版是一款全托管的云服务,兼容开源Milvus并支持无缝迁移。它提供大规模AI向量数据的相似性检索服务,具备易用性、可用性、安全性和低成本等优势,适用于多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等场景。用户可通过PAI平台部署RAG系统,创建和配置Milvus实例,并利用Attu工具进行可视化操作,快速开发和部署应用。使用前需确保Milvus实例和PAI在相同地域,并完成相关配置与开通服务。
|
12天前
|
API 开发工具 Python
阿里云PAI部署DeepSeek及调用
本文介绍如何在阿里云PAI EAS上部署DeepSeek模型,涵盖7B模型的部署、SDK和API调用。7B模型只需一张A10显卡,部署时间约10分钟。文章详细展示了模型信息查看、在线调试及通过OpenAI SDK和Python Requests进行调用的步骤,并附有测试结果和参考文档链接。
1938 9
阿里云PAI部署DeepSeek及调用
|
14天前
|
机器学习/深度学习 人工智能 开发者
DeepSeek安装部署指南,基于阿里云PAI零代码,小白也能轻松搞定!
阿里云PAI平台支持零代码一键部署DeepSeek-V3和DeepSeek-R1大模型,用户可轻松实现从训练到部署再到推理的全流程。通过PAI Model Gallery,开发者只需简单几步即可完成模型部署,享受高效便捷的AI开发体验。具体步骤包括:开通PAI服务、进入控制台选择模型、一键部署并获取调用信息。整个过程简单快捷,极大降低了使用门槛。
|
8天前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
|
7天前
|
机器学习/深度学习 人工智能 开发者
DeepSeek服务器繁忙?拒绝稍后再试!基于阿里云PAI实现0代码一键部署DeepSeek-V3和DeepSeek-R1大模型
阿里云PAI平台支持零代码一键部署DeepSeek-V3和DeepSeek-R1大模型,用户可轻松实现从训练到部署再到推理的全流程。通过PAI Model Gallery,开发者只需简单几步即可完成模型部署,享受高效便捷的AI开发体验。具体步骤包括开通PAI服务、进入控制台选择模型、一键部署并获取调用信息。整个过程无需编写代码,极大简化了模型应用的门槛。
140 7
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署 DeepSeek-V3 模型,阿里云 PAI-Model Gallery 最佳实践
本文介绍了如何在阿里云 PAI 平台上一键部署 DeepSeek-V3 模型,通过这一过程,用户能够轻松地利用 DeepSeek-V3 模型进行实时交互和 API 推理,从而加速 AI 应用的开发和部署。
|
2月前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
|
2月前
|
开发者 Python
阿里云PAI DSW快速部署服务
在使用阿里云DSW实例进行开发的时候,可能需要快速部署服务测试应用效果。DSW实例目前已经支持通过自定义服务访问配置功能,对外提供服务访问能力,您在应用开发过程中无需分享整个DSW实例,即可将服务分享给协作开发者进行测试和验证。
120 23
|
1月前
|
并行计算 PyTorch 算法框架/工具
阿里云PAI-部署Qwen2-VL-72B
阿里云PAI-部署Qwen2-VL-72B踩坑实录
|
3月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
196 6