AI推理服务平台升级,阿里云机器学习PAI推出新规格

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 全新推理规格 GU30 问世,与传统规格相比价格平均优惠45%。

导语:

随着生成式AI模型不断拓宽AI应用的场景边界,模型在线服务的数量级快速增长,AI推理环节亟需精细化的资源管理。


近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30,与传统规格相比价格平均优惠45%。


全新推理规格GU30问世,释放技术红利

AI工程化链路中,推理服务是打通“模型到应用最后一公里”的重要环节,并持续伴随业务成长。


PAI-EAS是PAI推出的弹性推理服务平台,提供异构硬件 (CPU/GPU) 模型加载和服务部署,支撑达摩院、淘宝、高德等业务大量级模型服务,并广泛服务阿里云上企业客户。结合推理优化技术和云原生生态,PAI-EAS进一步提升异构资源集群整体利用率,规模化地实现服务效率与性能提升,扩大让利空间。


新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。


GU30可适配不同复杂程度的模型,支撑文图生成、大语言模型、多模态模型、NLP、CV、ASR等的推理需求。付费模式上,EAS同时支持预付费和灵活的按量付费,用户可以通过弹性扩缩容、弹性资源池等能力精细化地按需管控推理资源。



image.png

Serverless化覆盖多样推理场景

作为云上AI推理服务平台,PAI-EAS在基础设施层、容器调度层、模型部署层都提供丰富的产品功能,贴合不同场景的个性化需求。


  • 实时同步推理场景,例如个性化推荐或类ChatGPT对话应用等,用户可通过一键压测得到服务的QPS和时延阈值,并结合灰度发布和蓝绿部署功能,在不影响线上业务的情况下进行性能验证并顺滑切换。
  • 近实时异步推理场景,例如文图生成或视频处理等,涉及较为复杂模型的推理,单次推理时间从十几秒到几十分钟不等,PAI-EAS在推理服务内部集成服务维度的消息队列,并支持面向队列长度实现推理的自动弹性扩缩容,满足资源利用率提升及免运维需求。
  • 离线批量推理场景,例如语音数据批量文本转换等时延不敏感的场景,PAI-EAS可通过抢占型资源实例的方式帮助用户控制批量推理成本。

image.png

PAI-EAS最新活动

从2023年4月中旬起,阿里云产品试用中心将正式开放PAI-EAS同等算力的试用规格,提供最长3个月的模型在线服务免费体验包。点击PAI-EAS产品页官网(链接:https://www.aliyun.com/activity/bigdata/pai/eas),可在PAI-EAS产品官网获得最新活动信息。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
人工智能 弹性计算 运维
AI驱动的操作系统服务评测报告
阿里云推出AI驱动的一站式免费操作系统服务套件,包含SysOM管控组件和OS Copilot智能助手,提供集群健康监测、深度系统诊断等功能。通过直观的操作界面和详尽的诊断报告,帮助运维人员优化系统性能,提高工作效率。特别针对EOL操作系统提供订阅管理服务,确保系统安全。整体体验令人满意,但在文档详细度和定制化方面仍有提升空间。
68 14
|
20天前
|
人工智能 搜索推荐 API
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
node-DeepResearch 是一个开源 AI 智能体项目,支持多步推理和复杂查询,帮助用户逐步解决问题。
186 27
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
Java+机器学习基础:打造AI学习基础
随着人工智能(AI)技术的飞速发展,越来越多的开发者开始探索如何将AI技术应用到实际业务场景中。Java作为一种强大的编程语言,不仅在企业级应用开发中占据重要地位,在AI领域也展现出了巨大的潜力。本文将通过模拟一个AI应用,从背景历史、业务场景、优缺点、底层原理等方面,介绍如何使用Java结合机器学习技术来打造一个AI学习的基础Demo。
78 18
|
30天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
199 17
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
1月前
|
人工智能 运维 监控
|
1月前
|
人工智能 运维 数据可视化
AI驱动操作系统服务评测报告
阿里云操作系统服务套件集成AI技术,提供集群健康、系统诊断、观测分析和OS Copilot等功能,助力高效管理。安装组件流程简便,系统观测与诊断功能强大,数据可视化效果佳,支持历史趋势分析。OS Copilot智能助手回答逻辑清晰,但部分问题需增强专业性。整体评价高,建议进一步优化错误提示、自动诊断及订阅服务记录,提升用户体验。
92 25
AI驱动操作系统服务评测报告
|
1月前
|
机器学习/深度学习 人工智能 安全
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
GLM-Zero 是智谱AI推出的深度推理模型,专注于提升数理逻辑、代码编写和复杂问题解决能力,支持多模态输入与完整推理过程输出。
236 24
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
|
6天前
|
机器学习/深度学习 人工智能 算法
解锁未来服务:AI 服务业的神奇魔法之旅
解锁未来服务:AI 服务业的神奇魔法之旅
|
19天前
|
人工智能 运维 监控
AI驱动的操作系统服务评测报告
作为一位运维工程师,我使用Alibaba Cloud Linux 3操作系统进行云资源的运维和管理。通过控制台可快速开通并管理云资源,界面简洁、功能明确。安装SysOM和OS Copilot组件简单高效,支持实时监控集群健康状况,并提供精准的系统诊断与优化建议。OS Copilot智能助手能有效解答技术问题,提升工作效率。针对EOL系统的订阅服务提供了安全迁移保障。整体体验优秀,尤其适合中小企业降低运维复杂度。建议进一步优化权限管理、增加报告导出功能及增强Copilot交互性。
|
1月前
|
人工智能 运维 监控
探索未来:AI驱动的操作系统服务评测
### 探索未来:AI驱动的操作系统服务评测 本文介绍阿里云新推出的AI驱动操作系统服务套件,为运维工程师和开发者提供免费、智能的操作系统管理体验。通过Alibaba Cloud Linux的实际操作,评估其安装便捷性、系统健康监控、智能助手OS Copilot等功能。该服务显著提升了工作效率约30%,并增强了服务可靠性。AI技术的融入使系统管理更加智能化,值得尝试。
71 16

相关产品

  • 人工智能平台 PAI