基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构

简介: 本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。

DeepSeek-R1是由深度求索公司推出的首款推理模型,该模型在数学、代码和推理任务上的表现优异,市场反馈火爆。在大模型技术商业化进程中,企业级用户普遍面临四大核心挑战:

  • 算力投入成本高昂:构建千亿参数级模型的训练与推理集群需巨额开支,导致中小企业难以跨越技术准入门槛;
  • 算力资源供应紧张:一线城市GPU集群受限于硬件供应短缺与资源抢占激烈,算力资源不足;
  • 模型部署复杂:从算法适配、性能调优到业务系统集成的端到端部署周期动辄数月,部署困难;
  • 数据安全合规风险:传统公网调用模式存在数据泄露隐患,难以满足企业对核心数据安全防护的严苛要求。

对于对数据主权敏感、业务全球化、需长期技术自主权的企业来说,其在AI商业化进程中实现技术可控、成本可控、风险可控尤为重要,基于以上基本诉求,此类客户更加注重:

  1. 自主可控的AI部署能力:
  • 需要灵活管理模型版本、算法优化路径,而非完全依赖第三方API接口。
  • 可定制模型(如微调预训练模型或集成自研算法)。
  1. 数据隐私与合规性保障:
  • 核心业务数据(如客户隐私、生产数据、财务数据)需在私有网络内处理,避免公网暴露风险。
  1. 跨区域业务协同需求:
  • 全球化业务需在不同区域(如亚洲、欧洲、美洲)部署低延迟的AI推理服务。
  1. 成本与资源效率优化:
  • AI 推理使用量大,避免API的高单价调用成本,需自主可控的按需弹性调度算力资源。

为了解决以上问题,阿里云推荐使用基于阿里云PAI+专属网关+私网连接解决方案:破解大模型落地的技术与资源瓶颈。

阿里云PAI目前已经支持一键部署DeepSeek-V3、DeepSeek-R1模型,结合乌兰察布的GPU资源与阿里云CEN全球骨干网能力,配合使用专属网关+私网连接,企业可快速搭建:

  1. 全球骨干级内网通道:通过CEN云企业网打通全球VPC与本地混合云,实现内网级访问延迟
  2. 全链路零公网暴露:专属网关+私网连接确保模型调用、数据传输全程私有化
  3. 东数西算算力网络:低成本利用乌兰察布算力资源,支撑全球业务的AI推理需求

通过此方案可以帮助企业级用户搭建东数西算核心算力网络,快速构建零公网暴露的云上私有化部署与模型调用架构。


场景示例

本文以下图场景为例。某企业在阿里云华东(上海)地域创建了专有网络VPC1,在该VPC1中有业务环境。为了业务环境的稳定性和安全性,该企业希望在乌兰察布使用PAI部署一套自有的云上Deepseek模型调用环境,提供给上海的业务集群使用,并要求私网访问,以构建全链路私有化部署与模型调用架构。

前提条件

  • 您已在乌兰察布地域创建了专有网络VPC1,并在两个可用区内创建两台交换机VSW1、VSW2,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已在上海地域创建了专有网络VPC2,并在两个可用区内创建两台交换机VSW3、VSW4,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已分别在VSW3和VSW4中创建ECS01和ECS02实例.
  • 您已创建云企业网CEN,并分别在上海、乌兰察布创建好转发路由器TR,并将VPC1和VPC2互相打通,具体步骤请参考跨地域VPC互通

步骤一:使用模型在线服务EAS,一键搭建DeepSeek-R1模型

  1. 登录人工智能平台PAI。
  2. 在顶部菜单栏,选择PAI所属的地域。
  3. 在左侧导航栏,选择模型部署 > 模型在线服务(EAS)
  4. 推理服务点击部署服务。
  5. 场景化模型部署中,选择LLM大语言模型部署。

参数

描述

基本信息

服务名称

自定义服务名称。本方案使用的示例值为:deepseek_test

版本选择

选择开源模型一键部署

模型类别

本方案选择DeepSeek-R1。EAS还提供了多种模型类别可供选择。

部署方式

选择SGLang加速部署 > 单机-标准机型

资源信息

资源类型

选择公共资源

部署资源

选择模型类别后,系统会自动推荐适合的资源规格。

专有网络

专有网络(VPC)

本方案选择在乌兰察布已创建的VPC1

交换机

本方案选择在VPC1内已创建的VSW1

  1. 点击部署。

步骤二:在EAS模型在线服务中创建专属网关,打通服务调用所属VPC

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关(按量付费)
  2. 购买完成后,为专属网关添加专有网络。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >专有网络页签,添加乌兰察布地域专有网络VPC1,交换机VSW2。创建后,在乌兰察布地域进入私网连接 > 终端节点,可以看到专属网关自动已经创建好对应的接口终端节点

  1. 为专属网关关联其他VPC,本文选择华东(上海)地域 VPC1

创建后,在云解析Privatezone > 域名设置里,可以看到专属网关已自动创建好对应的VPC内网解析。

  1. 修改专属网关白名单设置,放通对应的VPC网段。

步骤三:将模型在线服务EAS加入到对应专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的操作菜单中点击更新

  1. 在页签的右上角点击切换为自定义部署,下拉菜单到服务功能页签,选择已经创建的专属网关,并更新配置

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的服务方式菜单中点击调用信息

选择VPC地址调用,可以看到对应的模型服务地址以及Token信息

步骤四:测试使用私网调用EAS模型服务

  1. 登录上海地域VPC2内的ECS01,并将EAS模型服务对应的Token添加到环境变量中。

执行以下命令,将环境变量设置追加到 ~/.bashrc 文件中:

# 用对应的调用Token 代替 <你的EAS的TOKEN>

echo "export EAS_TOKEN=<你的EAS的TOKEN>" >> ~/.bashrc

执行以下命令,刷新环境变量设置

source ~/.bashrc

  1. 使用私网HTTP/HTTPS调用模型服务

示意如下,其中,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS VPC地址调用的域名。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $EAS_TOKEN" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

返回成功响应表明私网调用 DeepSeek-R1通道 已成功建立。

(可选)步骤五:使用EAS专属网关公网调用能力

  1. 为专属网关添加公网访问能力。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >公网页签,打开访问入口按钮,并添加公网访

问白名单。

  1. 使用公网HTTP/HTTPS调用模型服务

示意如下,<EAS_TOKEN>请替换为EAS的Token信息,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS 公网调用的地址。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization:  <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

使用本地设备测试,返回成功响应表明公网调用 DeepSeek-R1通道 已成功建立。

阿里云通过PAI+专属网关+私网连接方案,为企业级用户构建了技术可控、成本优化、安全可靠的AI私有化部署调用路径。该方案不仅解决了算力资源紧张与部署复杂度高的痛点,全链路私有化部署和全球低延迟算力网络,也满足了企业对数据主权、全球化业务部署及长期技术自主的需求。凭借乌兰察布算力资源与CEN骨干网的协同,企业可快速实现大模型的高效落地,为AI技术的规模化应用提供了可信赖的基础设施支撑。

相关文章
|
11月前
|
运维 NoSQL Serverless
|
机器学习/深度学习 人工智能 Kubernetes
Argo Workflows 加速在 Kubernetes 上构建机器学习 Pipelines
Argo Workflows 是 Kubernetes 上的工作流引擎,支持机器学习、数据处理、基础设施自动化及 CI/CD 等场景。作为 CNCF 毕业项目,其扩展性强、云原生轻量化,受到广泛采用。近期更新包括性能优化、调度策略增强、Python SDK 支持及 AI/大数据任务集成,助力企业高效构建 AI、ML、Data Pipelines。
1221 0
|
人工智能 负载均衡 API
长连接网关技术专题(十二):大模型时代多模型AI网关的架构设计与实现
随着 AI 技术快速发展,业务对 AI 能力的渴求日益增长。当 AI 服务面对处理大规模请求和高并发流量时,AI 网关从中扮演着至关重要的角色。AI 服务通常涉及大量的计算任务和设备资源占用,此时需要一个 AI 网关负责协调这些请求来确保系统的稳定性与高效性。因此,与传统微服务架构类似,我们将相关 API 管理的功能(如流量控制、用户鉴权、配额计费、负载均衡、API 路由等)集中放置在 AI 网关层,可以降低系统整体复杂度并提升可维护性。 本文要分享的是B站在大模型时代基于多模型AI的网关架构设计和实践总结,希望能带给你启发。
1308 4
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三:PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用,通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了 MCP+OLAP 的智能数据分析能力,使用自然语言即可实现 OLAP 数据分析的查询效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。
|
11月前
|
运维 NoSQL Serverless
《第四纪元》玩得轻松,构建也轻松 | 阿里云云原生 API 网关、函数计算助力 IGame 快速构建轻休闲游戏
在轻休闲游戏流量波动大、生命周期短的背景下,传统架构难以应对成本与扩展挑战。本文介绍了基于阿里云函数计算 FC 和 Redis 构建的新一代服务器架构,实现弹性伸缩、成本优化与高效运维,助力轻休闲游戏快速迭代与稳定运营,提升开发效率并降低运维复杂度。
《第四纪元》玩得轻松,构建也轻松 | 阿里云云原生 API 网关、函数计算助力 IGame 快速构建轻休闲游戏
|
机器学习/深度学习 存储 运维
机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统
本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。
1062 46
|
9月前
|
人工智能 Kubernetes Cloud Native
Higress(云原生AI网关) 架构学习指南
Higress 架构学习指南 🚀写在前面: 嘿,欢迎你来到 Higress 的学习之旅!
3477 0
|
存储 人工智能 运维
企业级MLOps落地:基于PAI-Studio构建自动化模型迭代流水线
本文深入解析MLOps落地的核心挑战与解决方案,涵盖技术断层分析、PAI-Studio平台选型、自动化流水线设计及实战构建,全面提升模型迭代效率与稳定性。
640 6
|
机器学习/深度学习 PyTorch API
昇腾AI4S图机器学习:DGL图构建接口的PyG替换
本文探讨了在图神经网络中将DGL接口替换为PyG实现的方法,重点以RFdiffusion蛋白质设计模型中的SE3Transformer为例。SE3Transformer通过SE(3)等变性提取三维几何特征,其图构建部分依赖DGL接口。文章详细介绍了两个关键函数的替换:`make_full_graph` 和 `make_topk_graph`。前者构建完全连接图,后者生成k近邻图。通过PyG的高效实现(如`knn_graph`),我们简化了图结构创建过程,并调整边特征处理逻辑以兼容不同框架,从而更好地支持昇腾NPU等硬件环境。此方法为跨库迁移提供了实用参考。

热门文章

最新文章

相关产品

  • 私网连接