通过人工智能平台PAI部署DeepSeek-OCR模型 官网控制台部署

简介: 本方案介绍如何在阿里云PAI平台部署DeepSeek-OCR开源模型,涵盖从账号准备、模型部署到应用体验的完整流程。通过PAI的Model Gallery可一键部署,结合PAI-EAS实现高性能推理,支持公网调用。适用于OCR场景快速搭建与测试,体验后建议及时清理资源以避免计费。

方案概览
本方案旨在介绍如何通过人工智能平台 PAI部署DeepSeek-OCR 开源模型。人工智能平台 PAI 为 AI 研发提供了全链路支持,覆盖了从数据标注、模型开发、训练、评估、部署和运维管控的整个 AI 研发生命周期。其中,Model Gallery 组件提供了一个丰富多样的模型资源库,使用户能够轻松地查找、部署、训练和评估模型,大大简化了开发流程。目前 Model Gallery 已接入 DeepSeek-OCR。PAI-EAS 则提供了高性能的模型推理服务,支持多种异构计算资源,并配备了一套完整的运维和监控系统,确保服务的稳定性和高效性。

方案架构
按照本方案提供的配置完成部署后,会在阿里云上搭建一个如下图所示的运行环境。实际部署时,您可根据具体的资源规划调整部分配置,但最终的运行环境将与下图展示的架构相似。
image.png
本方案的技术架构包括以下云服务:

Model Gallery :人工智能平台 PAI 的一个组件,集成了众多 AI 领域高质量的预训练模型。

PAI-EAS :人工智能平台 PAI 的一个组件,针对在线推理场景提供的模型在线服务,采用基于按量付费的 GPU 公共资源组。

部署准备
开始部署前,请按以下指引完成账号申请、账号充值等准备工作。

准备账号
如果您还没有阿里云账号,请访问阿里云账号注册页面,根据页面提示完成注册。阿里云账号是您使用云资源的付费实体,因此是部署方案的必要前提。

为阿里云账号充值。本方案的云资源支持按量付费,且默认设置均采用按量付费引导操作。如果确定任何一个云资源采用按量付费方式部署,账户余额都必须大于等于100元。

部署 DeepSeek-OCR 模型

1.登录PAI 控制台,首次登录需要开通服务。请注意左上角选择需开通的地域。推荐华北6(乌兰察布),有较多可用资源提供。
image.png
2.开通成功后,点击进入控制台按钮。
image.png
3.在工作空间页面的左侧导航栏选择 Model Gallery 。
4.在搜索框中输入DeepSeek-OCR,点击卡片进入模型详情页,然后点击右上角部署按钮。
image.png
5.选择工作空间,点击确定。
6.在弹出的部署面板中,按照以下参数完成部署配置,其余参数保持默认,完成参数配置后单击部署,在计费提醒页面阅读计费信息后,单击确定,完成模型在线服务创建。
推理引擎:选择SGLang。
部署模板:选择单机。
基本信息:保持默认不变
部署资源:资源类型选择公共资源,资源规格选择ml.gu7i.c16m60.1-gu30。
说明
若当前区域中某规格的计算资源库存不足,您可以尝试选择资源规格列表中其他规格实例或在控制台左上角切换至其他区域如华北6(乌兰察布)寻找计算资源。
7.在人工智能平台PAI控制台左侧导航栏,单击Model Gallery > 任务管理,当服务部署完成后状态会切换为运行中。在部署任务列表页找到目标服务并单击服务名称,进入服务详情页。
image.png
8.单击查看调用信息,在弹出的面板中复制保存公网调用地址和 Token 。
image.png
应用体验
一、使用 Chatbox 客户端进行对话
访问 Chatbox 下载地址下载并安装客户端,本方案以 macOS M3 为例。
image.png
image.png
image.png
image.png
image.png
最终配置如下图所示,然后单击检查,等待提示连接成功后即代表模型提供方添加成功。
image.png
image.png
返回主界面点击新对话,并点击image图标针对OCR模型特性进行进一步设置。image.png
对话设置中删除所有系统提示,并关闭流式输出后点击保存。image.png
在文本输入框中可以输入图片并搭配提示词进行对话交互。此处以对收据图片进行OCR提取为例。image.png
清理资源

若不用于生产环境,建议在体验后按提示清理资源,避免继续产生费用。如因资源不足一直等待中,请注意停止模型服务,否则一旦资源充足会自动重试创建成功。

删除1个模型在线服务(EAS):

登录人工智能平台PAI控制台,在左侧导航栏选择模型部署 > 模型在线服务(EAS),在模型在线服务列表页面找到目标服务,在其右侧操作列,单击删除。
更多大模型可以在[体验中心里]面试用,免费领取tokens

相关文章
|
2月前
|
人工智能 运维 监控
从代码到生产推理服务:DevPod 全流程部署 DeepSeek-OCR 模型实战指南
DevPod重塑AI开发范式,实现从云端开发、调试到生产部署的全流程闭环。依托预置环境与GPU资源,一键完成模型服务化,打通AI落地“最后一公里”,让开发者专注业务创新。
|
3月前
|
人工智能 文字识别 并行计算
为什么别人用 DevPod 秒启 DeepSeek-OCR,你还在装环境?
DevPod 60秒极速启动,一键运行DeepSeek OCR大模型。告别环境配置难题,云端开箱即用,支持GPU加速、VSCode/Jupyter交互开发,重塑AI原生高效工作流。
777 35
|
3月前
|
人工智能 物联网 调度
边缘大型AI模型:协作部署与物联网应用——论文阅读
论文《边缘大型AI模型:协作部署与物联网应用》系统探讨了将大模型(LAM)部署于边缘网络以赋能物联网的前沿框架。针对传统云端部署高延迟、隐私差的问题,提出“边缘LAM”新范式,通过联邦微调、专家混合与思维链推理等技术,实现低延迟、高隐私的分布式智能。
817 6
边缘大型AI模型:协作部署与物联网应用——论文阅读
|
4月前
|
传感器 算法 机器人
【IMU数据与GPS融合的预积分方法】基于流形的IMU预积分,用于高效的视觉惯性最大后验估计、SE3姿势区分为IMU(Matlab代码实现)
【IMU数据与GPS融合的预积分方法】基于流形的IMU预积分,用于高效的视觉惯性最大后验估计、SE3姿势区分为IMU(Matlab代码实现)
232 4
|
4月前
|
边缘计算 缓存 人工智能
EdgeShard:通过协作边缘计算实现高效的大语言模型推理——论文解读
EdgeShard是一种基于协作边缘计算的大语言模型(LLM)推理框架,旨在解决LLM在云端部署面临的延迟高、带宽压力大和隐私泄露等问题。通过将LLM分片部署在多个边缘设备上,结合云边协同与设备间协作,EdgeShard实现了高效的模型推理。其核心创新包括:联合设备选择与模型划分优化、支持流水线并行与微批处理、提出EdgeShard-No-Bubbles策略以减少设备空闲时间,从而显著提升推理吞吐量并降低延迟。实验表明,EdgeShard在异构边缘设备上可实现高达50%的延迟降低和2倍的吞吐量提升,支持全精度模型推理而无精度损失,为资源受限的边缘环境提供了高效的LLM部署方案。
932 2
|
9月前
|
CDN
阿里云CDN怎么收费?看这一篇就够了,CDN不同计费模式收费价格全解析
阿里云CDN收费包含基础费用与增值费用。基础费用提供三种计费模式:按流量、带宽峰值及月结95带宽峰值计费,默认按流量计费,价格因地域和用量阶梯而异。增值费用涵盖静态HTTPS、QUIC请求、WAF防护及实时日志等服务,按需使用并单独计费。此外,可通过购买资源包预付费降低整体成本。更多详情参见阿里云官方文档。
2304 8
|
数据安全/隐私保护
什么是正向代理
正向代理是网络代理的一种形式,作为客户端与外部服务器间的中介,接收并转发客户端请求至目标服务器,再将服务器响应转回给客户端。适用于访问受限资源、保护隐私及跨境访问等场景,增强客户端的灵活性和安全性。
346 0

热门文章

最新文章