基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构

本文涉及的产品
公网NAT网关,每月750个小时 15CU
传统型负载均衡 CLB,每月750个小时 15LCU
全球加速 GA,每月750个小时 15CU
简介: 本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。

DeepSeek-R1是由深度求索公司推出的首款推理模型,该模型在数学、代码和推理任务上的表现优异,市场反馈火爆。在大模型技术商业化进程中,企业级用户普遍面临四大核心挑战:

  • 算力投入成本高昂:构建千亿参数级模型的训练与推理集群需巨额开支,导致中小企业难以跨越技术准入门槛;
  • 算力资源供应紧张:一线城市GPU集群受限于硬件供应短缺与资源抢占激烈,算力资源不足;
  • 模型部署复杂:从算法适配、性能调优到业务系统集成的端到端部署周期动辄数月,部署困难;
  • 数据安全合规风险:传统公网调用模式存在数据泄露隐患,难以满足企业对核心数据安全防护的严苛要求。

对于对数据主权敏感、业务全球化、需长期技术自主权的企业来说,其在AI商业化进程中实现技术可控、成本可控、风险可控尤为重要,基于以上基本诉求,此类客户更加注重:

  1. 自主可控的AI部署能力:
  • 需要灵活管理模型版本、算法优化路径,而非完全依赖第三方API接口。
  • 可定制模型(如微调预训练模型或集成自研算法)。
  1. 数据隐私与合规性保障:
  • 核心业务数据(如客户隐私、生产数据、财务数据)需在私有网络内处理,避免公网暴露风险。
  1. 跨区域业务协同需求:
  • 全球化业务需在不同区域(如亚洲、欧洲、美洲)部署低延迟的AI推理服务。
  1. 成本与资源效率优化:
  • AI 推理使用量大,避免API的高单价调用成本,需自主可控的按需弹性调度算力资源。

为了解决以上问题,阿里云推荐使用基于阿里云PAI+专属网关+私网连接解决方案:破解大模型落地的技术与资源瓶颈。

阿里云PAI目前已经支持一键部署DeepSeek-V3、DeepSeek-R1模型,结合乌兰察布的GPU资源与阿里云CEN全球骨干网能力,配合使用专属网关+私网连接,企业可快速搭建:

  1. 全球骨干级内网通道:通过CEN云企业网打通全球VPC与本地混合云,实现内网级访问延迟
  2. 全链路零公网暴露:专属网关+私网连接确保模型调用、数据传输全程私有化
  3. 东数西算算力网络:低成本利用乌兰察布算力资源,支撑全球业务的AI推理需求

通过此方案可以帮助企业级用户搭建东数西算核心算力网络,快速构建零公网暴露的云上私有化部署与模型调用架构。


场景示例

本文以下图场景为例。某企业在阿里云华东(上海)地域创建了专有网络VPC1,在该VPC1中有业务环境。为了业务环境的稳定性和安全性,该企业希望在乌兰察布使用PAI部署一套自有的云上Deepseek模型调用环境,提供给上海的业务集群使用,并要求私网访问,以构建全链路私有化部署与模型调用架构。

前提条件

  • 您已在乌兰察布地域创建了专有网络VPC1,并在两个可用区内创建两台交换机VSW1、VSW2,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已在上海地域创建了专有网络VPC2,并在两个可用区内创建两台交换机VSW3、VSW4,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已分别在VSW3和VSW4中创建ECS01和ECS02实例.
  • 您已创建云企业网CEN,并分别在上海、乌兰察布创建好转发路由器TR,并将VPC1和VPC2互相打通,具体步骤请参考跨地域VPC互通

步骤一:使用模型在线服务EAS,一键搭建DeepSeek-R1模型

  1. 登录人工智能平台PAI。
  2. 在顶部菜单栏,选择PAI所属的地域。
  3. 在左侧导航栏,选择模型部署 > 模型在线服务(EAS)
  4. 推理服务点击部署服务。
  5. 场景化模型部署中,选择LLM大语言模型部署。

参数

描述

基本信息

服务名称

自定义服务名称。本方案使用的示例值为:deepseek_test

版本选择

选择开源模型一键部署

模型类别

本方案选择DeepSeek-R1。EAS还提供了多种模型类别可供选择。

部署方式

选择SGLang加速部署 > 单机-标准机型

资源信息

资源类型

选择公共资源

部署资源

选择模型类别后,系统会自动推荐适合的资源规格。

专有网络

专有网络(VPC)

本方案选择在乌兰察布已创建的VPC1

交换机

本方案选择在VPC1内已创建的VSW1

  1. 点击部署。

步骤二:在EAS模型在线服务中创建专属网关,打通服务调用所属VPC

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关(按量付费)
  2. 购买完成后,为专属网关添加专有网络。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >专有网络页签,添加乌兰察布地域专有网络VPC1,交换机VSW2。创建后,在乌兰察布地域进入私网连接 > 终端节点,可以看到专属网关自动已经创建好对应的接口终端节点

  1. 为专属网关关联其他VPC,本文选择华东(上海)地域 VPC1

创建后,在云解析Privatezone > 域名设置里,可以看到专属网关已自动创建好对应的VPC内网解析。

  1. 修改专属网关白名单设置,放通对应的VPC网段。

步骤三:将模型在线服务EAS加入到对应专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的操作菜单中点击更新

  1. 在页签的右上角点击切换为自定义部署,下拉菜单到服务功能页签,选择已经创建的专属网关,并更新配置

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的服务方式菜单中点击调用信息

选择VPC地址调用,可以看到对应的模型服务地址以及Token信息

步骤四:测试使用私网调用EAS模型服务

  1. 登录上海地域VPC2内的ECS01,并将EAS模型服务对应的Token添加到环境变量中。

执行以下命令,将环境变量设置追加到 ~/.bashrc 文件中:

# 用对应的调用Token 代替 <你的EAS的TOKEN>

echo "export EAS_TOKEN=<你的EAS的TOKEN>" >> ~/.bashrc

执行以下命令,刷新环境变量设置

source ~/.bashrc

  1. 使用私网HTTP/HTTPS调用模型服务

示意如下,其中,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS VPC地址调用的域名。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $EAS_TOKEN" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

返回成功响应表明私网调用 DeepSeek-R1通道 已成功建立。

(可选)步骤五:使用EAS专属网关公网调用能力

  1. 为专属网关添加公网访问能力。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >公网页签,打开访问入口按钮,并添加公网访

问白名单。

  1. 使用公网HTTP/HTTPS调用模型服务

示意如下,<EAS_TOKEN>请替换为EAS的Token信息,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS 公网调用的地址。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization:  <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

使用本地设备测试,返回成功响应表明公网调用 DeepSeek-R1通道 已成功建立。

阿里云通过PAI+专属网关+私网连接方案,为企业级用户构建了技术可控、成本优化、安全可靠的AI私有化部署调用路径。该方案不仅解决了算力资源紧张与部署复杂度高的痛点,全链路私有化部署和全球低延迟算力网络,也满足了企业对数据主权、全球化业务部署及长期技术自主的需求。凭借乌兰察布算力资源与CEN骨干网的协同,企业可快速实现大模型的高效落地,为AI技术的规模化应用提供了可信赖的基础设施支撑。

相关文章
|
17天前
|
人工智能 JSON 算法
【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列,包括 DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。本文详细介绍DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践。
|
25天前
|
人工智能 运维 API
PAI-Model Gallery云上一键部署阶跃星辰新模型Step1X-Edit
4月27日,阶跃星辰正式发布并开源图像编辑大模型 Step1X-Edit,性能达到开源 SOTA。Step1X-Edit模型总参数量为19B,实现 MLLM 与 DiT 的深度融合,在编辑精度与图像保真度上实现大幅提升,具备语义精准解析、身份一致性保持、高精度区域级控制三项关键能力;支持文字替换、风格迁移等11 类高频图像编辑任务类型。在最新发布的图像编辑基准 GEdit-Bench 中,Step1X-Edit 在语义一致性、图像质量与综合得分三项指标上全面领先现有开源模型,比肩 GPT-4o 与 Gemin。PAI-ModelGallery 支持Step1X-Edit一键部署方案。
|
21天前
|
缓存 并行计算 测试技术
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
157 11
|
25天前
|
人工智能 自然语言处理 运维
Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署
Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。目前,PAI 已经支持 Qwen3 全系列模型一键部署,用户可以通过 PAI-Model Gallery 快速开箱!
|
5月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
1月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
151 12
|
6月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
144 3
|
6月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
5月前
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
466 69
从单体到微服务:如何借助 Spring Cloud 实现架构转型
|
3月前
|
传感器 监控 安全
智慧工地云平台的技术架构解析:微服务+Spring Cloud如何支撑海量数据?
慧工地解决方案依托AI、物联网和BIM技术,实现对施工现场的全方位、立体化管理。通过规范施工、减少安全隐患、节省人力、降低运营成本,提升工地管理的安全性、效率和精益度。该方案适用于大型建筑、基础设施、房地产开发等场景,具备微服务架构、大数据与AI分析、物联网设备联网、多端协同等创新点,推动建筑行业向数字化、智能化转型。未来将融合5G、区块链等技术,助力智慧城市建设。
154 0

相关产品

  • 私网连接