PAI EAS服务使用eascmd客户端管理 Quick Start

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 为实现一站式算法应用,PAI针对在线推理场景提供了在线预测服务PAI-EAS(Elastic Algorithm Service),支持基于异构硬件(CPU和GPU)的模型加载和数据请求的实时响应。通过PAI-EAS,您可以将模型快速部署为RESTful API,再通过HTTP请求的方式调用该服务。您也可以使用eascmd命令行方式进行部署管理PAI-EAS服务。本文基于已经训练好的线性回归算法实验为您介绍如何使用eascmd客户端上传文件、创建服务、修改服务配置信息的相关命令演示,以供参考。

Step By Step

  • 1.获取训练好的模型文件的OSS地址并下载保存到本地文件夹
  • 2.下载并认证eas-cmd客户端
  • 3.eascmd客户端操作命令演示

一.获取训练好的模型文件的OSS地址并下载保存到本地文件夹

  • 模型文件保存到本地电脑文件夹

image.png


二.下载并认证eas-cmd客户端


image.png

  • 3.在Windows的命令行中使用阿里云账号的AccessKey进行身份认证

    • 执行以下命令
eascmdwin64.exe config -i <yourAccessKeyID> -k <yourAccessKeySecret>
  • 认证成功后,系统输出如下类似结果
Configuration saved to: /Users/test/.eas/config

lQLPJxbVJslTqMfNAY_NBK-w3dcWIz8_HIEDXksyIoBwAA_1199_399.png


三.eascmd客户端命令使用演示

  • 1.上传文件命令

    • 功能:PAI-EAS为每位用户提供了OSS仓库,通过eascmd的upload命令,您可以直接上传模型或Processor,并获取上传后的OSS地址。
    • 示例:将下载好的模型文件x_model.xml上传至OSS
eascmdwin64 upload D:\download\x_model.xml

image.png

  • 2.创建服务命令

    • 功能:通过create命令创建服务。创建服务时,需要提供资源(模型或Processor)的HTTP或OSS地址,您可以将资源上传至OSS,并获取上传后的OSS地址。
    • 参数:demo1.json表示描述服务相关信息(模型存储位置及资源规格等)的JSON文件示例如下。
{
  "name": "antest_model_xb",
  "generate_token": "true",
  "model_path": "https://XXXX.oss-cn-shanghai.aliyuncs.com/paidemo/x_model.xml",
  "processor": "pmml",
  "metadata": {
    "instance": 1,
    "cpu": 1
  }
}
eascmdwin64 create D:\download\demo1.json

lQLPJxbVN9uKE3zNAo7NBmGw3XuE3Kywy_wDXmcqOoAQAA_1633_654.png

  • PAI控制台查看

lQLPJxbVOhhXDGXNAg3NBr6wHK721K4wpxgDXmrU1kAdAA_1726_525.png


  • 3.修改配置命令

    • 功能:对于Instnace和CPU等metadata信息,可以直接使用modify命令的-D参数进行修改
    • 示例:将Instance数量配置为2,且每个Instance中的CPU为2内存为5GB
    • 未修改前

lQLPJxbVOi-V-I7NAd3NBgawTTFSB9ycdN4DXmr64wD0AA_1542_477.png

eascmdwin64 modify antest_model_xb -D metadata.instance=2 -Dmetadata.cpu=2 -D metadata.memory=5000

1667307004401_2D1F1F84-77D0-4bb4-8962-FDE21EFE27EA.png


  • 修改前和修改后

1667306284671_31FF6822-6B4C-4a09-9EBD-197D90B17988.png


lQLPJxbVPALi5kTNAdjNBeqws0W_onvX8Z8DXm347QAQAA_1514_472.png

  • 4.停止服务命令

    • 功能:通过stop命令可以停止一个运行中的服务。
    • 命令:eascmd stop <service_name>
eascmdwin64 stop antest_model_xb

image.png


image.png


更多参考

eascmd客户端工具
命令使用说明
阿里云机器学习平台PAI使用简明教程(一)

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
6月前
|
人工智能 监控 测试技术
云上AI推理平台全掌握 (1):PAI-EAS LLM服务一键压测
在AI技术飞速发展的今天,大语言模型(LLM)、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节,需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。 阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中,我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向,展现 PAI 平台在推理服务侧的产品能力,助力企业和开发者在 AI 时代抢占先机,让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!
|
6月前
|
缓存 人工智能 负载均衡
PAI 重磅发布模型权重服务,大幅降低模型推理冷启动与扩容时长
阿里云人工智能平台PAI 平台推出模型权重服务,通过分布式缓存架构、RDMA高速传输、智能分片等技术,显著提升大语言模型部署效率,解决模型加载耗时过长的业界难题。实测显示,Qwen3-32B冷启动时间从953秒降至82秒(降幅91.4%),扩容时间缩短98.2%。
|
12月前
|
API Python
PAI EAS Flask应用部署Quick Start
本文介绍了如何将Python Flask应用快速部署到阿里云PAI EAS,并通过API对外提供服务。示例代码包括`web.py`和`demo.py`两个文件,展示了基本的Flask应用和跨文件导入功能。最后,通过阿里云控制台完成服务部署和调用。
427 28
|
11月前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
|
前端开发 开发者 设计模式
揭秘Uno Platform状态管理之道:INotifyPropertyChanged、依赖注入、MVVM大对决,帮你找到最佳策略!
【8月更文挑战第31天】本文对比分析了 Uno Platform 中的关键状态管理策略,包括内置的 INotifyPropertyChanged、依赖注入及 MVVM 框架。INotifyPropertyChanged 方案简单易用,适合小型项目;依赖注入则更灵活,支持状态共享与持久化,适用于复杂场景;MVVM 框架通过分离视图、视图模型和模型,使状态管理更清晰,适合大型项目。开发者可根据项目需求和技术栈选择合适的状态管理方案,以实现高效管理。
165 0
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow Serving 部署指南超赞!让机器学习模型上线不再困难,轻松开启高效服务之旅!
【8月更文挑战第31天】TensorFlow Serving是一款高性能开源服务系统,专为部署机器学习模型设计。本文通过代码示例详细介绍其部署流程:从安装TensorFlow Serving、训练模型到配置模型服务器与使用gRPC客户端调用模型,展示了一站式模型上线解决方案,使过程变得简单高效。借助该工具,你可以轻松实现模型的实际应用。
565 0
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
392 0
|
人工智能 对象存储 异构计算
AI模型推理服务在Knative中最佳配置实践
Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,对于一些需要频繁变动计算资源的AI应用,如模型推理等尤其明显。那么在Knative上部署AI模型推理时可以遵循这些最佳实践,以提升AI推理服务能力和GPU资源利用率。
|
机器学习/深度学习 人工智能 API
人工智能平台PAI产品使用合集之机器学习PAI-EAS部署好后,服务的公网API和URL怎么配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习算法篇】K-近邻算法
K近邻(KNN)是一种基于“物以类聚”思想的监督学习算法,通过计算样本间距离,选取最近K个邻居投票决定类别。支持多种距离度量,如欧式、曼哈顿、余弦相似度等,适用于分类与回归任务。结合Scikit-learn可高效实现,需合理选择K值并进行数据预处理,常用于鸢尾花分类等经典案例。(238字)

热门文章

最新文章