基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构

本文涉及的产品
应用型负载均衡 ALB,每月750个小时 15LCU
传统型负载均衡 CLB,每月750个小时 15LCU
公网NAT网关,每月750个小时 15CU
简介: 本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。

DeepSeek-R1是由深度求索公司推出的首款推理模型,该模型在数学、代码和推理任务上的表现优异,市场反馈火爆。在大模型技术商业化进程中,企业级用户普遍面临四大核心挑战:

  • 算力投入成本高昂:构建千亿参数级模型的训练与推理集群需巨额开支,导致中小企业难以跨越技术准入门槛;
  • 算力资源供应紧张:一线城市GPU集群受限于硬件供应短缺与资源抢占激烈,算力资源不足;
  • 模型部署复杂:从算法适配、性能调优到业务系统集成的端到端部署周期动辄数月,部署困难;
  • 数据安全合规风险:传统公网调用模式存在数据泄露隐患,难以满足企业对核心数据安全防护的严苛要求。

对于对数据主权敏感、业务全球化、需长期技术自主权的企业来说,其在AI商业化进程中实现技术可控、成本可控、风险可控尤为重要,基于以上基本诉求,此类客户更加注重:

  1. 自主可控的AI部署能力:
  • 需要灵活管理模型版本、算法优化路径,而非完全依赖第三方API接口。
  • 可定制模型(如微调预训练模型或集成自研算法)。
  1. 数据隐私与合规性保障:
  • 核心业务数据(如客户隐私、生产数据、财务数据)需在私有网络内处理,避免公网暴露风险。
  1. 跨区域业务协同需求:
  • 全球化业务需在不同区域(如亚洲、欧洲、美洲)部署低延迟的AI推理服务。
  1. 成本与资源效率优化:
  • AI 推理使用量大,避免API的高单价调用成本,需自主可控的按需弹性调度算力资源。

为了解决以上问题,阿里云推荐使用基于阿里云PAI+专属网关+私网连接解决方案:破解大模型落地的技术与资源瓶颈。

阿里云PAI目前已经支持一键部署DeepSeek-V3、DeepSeek-R1模型,结合乌兰察布的GPU资源与阿里云CEN全球骨干网能力,配合使用专属网关+私网连接,企业可快速搭建:

  1. 全球骨干级内网通道:通过CEN云企业网打通全球VPC与本地混合云,实现内网级访问延迟
  2. 全链路零公网暴露:专属网关+私网连接确保模型调用、数据传输全程私有化
  3. 东数西算算力网络:低成本利用乌兰察布算力资源,支撑全球业务的AI推理需求

通过此方案可以帮助企业级用户搭建东数西算核心算力网络,快速构建零公网暴露的云上私有化部署与模型调用架构。


场景示例

本文以下图场景为例。某企业在阿里云华东(上海)地域创建了专有网络VPC1,在该VPC1中有业务环境。为了业务环境的稳定性和安全性,该企业希望在乌兰察布使用PAI部署一套自有的云上Deepseek模型调用环境,提供给上海的业务集群使用,并要求私网访问,以构建全链路私有化部署与模型调用架构。

前提条件

  • 您已在乌兰察布地域创建了专有网络VPC1,并在两个可用区内创建两台交换机VSW1、VSW2,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已在上海地域创建了专有网络VPC2,并在两个可用区内创建两台交换机VSW3、VSW4,创建了对应的安全组。具体操作,请参见创建专有网络创建和管理交换机
  • 您已分别在VSW3和VSW4中创建ECS01和ECS02实例.
  • 您已创建云企业网CEN,并分别在上海、乌兰察布创建好转发路由器TR,并将VPC1和VPC2互相打通,具体步骤请参考跨地域VPC互通

步骤一:使用模型在线服务EAS,一键搭建DeepSeek-R1模型

  1. 登录人工智能平台PAI。
  2. 在顶部菜单栏,选择PAI所属的地域。
  3. 在左侧导航栏,选择模型部署 > 模型在线服务(EAS)
  4. 推理服务点击部署服务。
  5. 场景化模型部署中,选择LLM大语言模型部署。

参数

描述

基本信息

服务名称

自定义服务名称。本方案使用的示例值为:deepseek_test

版本选择

选择开源模型一键部署

模型类别

本方案选择DeepSeek-R1。EAS还提供了多种模型类别可供选择。

部署方式

选择SGLang加速部署 > 单机-标准机型

资源信息

资源类型

选择公共资源

部署资源

选择模型类别后,系统会自动推荐适合的资源规格。

专有网络

专有网络(VPC)

本方案选择在乌兰察布已创建的VPC1

交换机

本方案选择在VPC1内已创建的VSW1

  1. 点击部署。

步骤二:在EAS模型在线服务中创建专属网关,打通服务调用所属VPC

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到专属网关页签,新建专属网关 > 新建后付费专属网关(按量付费)
  2. 购买完成后,为专属网关添加专有网络。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >专有网络页签,添加乌兰察布地域专有网络VPC1,交换机VSW2。创建后,在乌兰察布地域进入私网连接 > 终端节点,可以看到专属网关自动已经创建好对应的接口终端节点

  1. 为专属网关关联其他VPC,本文选择华东(上海)地域 VPC1

创建后,在云解析Privatezone > 域名设置里,可以看到专属网关已自动创建好对应的VPC内网解析。

  1. 修改专属网关白名单设置,放通对应的VPC网段。

步骤三:将模型在线服务EAS加入到对应专属网关

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的操作菜单中点击更新

  1. 在页签的右上角点击切换为自定义部署,下拉菜单到服务功能页签,选择已经创建的专属网关,并更新配置

  1. 在模型在线服务(EAS)菜单栏中,切换到推理服务页签,在对应模型服务的服务方式菜单中点击调用信息

选择VPC地址调用,可以看到对应的模型服务地址以及Token信息

步骤四:测试使用私网调用EAS模型服务

  1. 登录上海地域VPC2内的ECS01,并将EAS模型服务对应的Token添加到环境变量中。

执行以下命令,将环境变量设置追加到 ~/.bashrc 文件中:

# 用对应的调用Token 代替 <你的EAS的TOKEN>

echo "export EAS_TOKEN=<你的EAS的TOKEN>" >> ~/.bashrc

执行以下命令,刷新环境变量设置

source ~/.bashrc

  1. 使用私网HTTP/HTTPS调用模型服务

示意如下,其中,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS VPC地址调用的域名。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $EAS_TOKEN" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

返回成功响应表明私网调用 DeepSeek-R1通道 已成功建立。

(可选)步骤五:使用EAS专属网关公网调用能力

  1. 为专属网关添加公网访问能力。

单击专属网关名称,在开通相关服务后,在网关详情页面网关访问控制 >公网页签,打开访问入口按钮,并添加公网访

问白名单。

  1. 使用公网HTTP/HTTPS调用模型服务

示意如下,<EAS_TOKEN>请替换为EAS的Token信息,<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称,<EAS_ENDPOINT>请替换为EAS 公网调用的地址。

备注:调用方式可以为HTTP/HTTPS.

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization:  <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

使用本地设备测试,返回成功响应表明公网调用 DeepSeek-R1通道 已成功建立。

阿里云通过PAI+专属网关+私网连接方案,为企业级用户构建了技术可控、成本优化、安全可靠的AI私有化部署调用路径。该方案不仅解决了算力资源紧张与部署复杂度高的痛点,全链路私有化部署和全球低延迟算力网络,也满足了企业对数据主权、全球化业务部署及长期技术自主的需求。凭借乌兰察布算力资源与CEN骨干网的协同,企业可快速实现大模型的高效落地,为AI技术的规模化应用提供了可信赖的基础设施支撑。

相关文章
|
2月前
|
数据采集 运维 监控
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
|
2月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
367 51
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
384 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
2月前
|
消息中间件 缓存 监控
中间件架构设计与实践:构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的&quot;神经网络&quot;,强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系,包括通信中间件(如RabbitMQ/Kafka)、数据中间件(如Redis/MyCAT)等类型。文章重点剖析了消息中间件的实现机制,通过Spring Boot代码示例展示了消息生产者的完整实现,涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后,作者指出中间件架构设计对系统性能的决定性影响,
|
2月前
|
SQL 弹性计算 关系型数据库
如何用读写分离构建高效稳定的数据库架构?
在少写多读业务场景中,主实例读请求压力大,影响性能。通过创建只读实例并使用数据库代理实现读写分离,可有效降低主实例负载,提升系统性能与可用性。本文详解配置步骤,助你构建高效稳定的数据库架构。
|
16天前
|
机器学习/深度学习 数据采集 人工智能
【机器学习算法篇】K-近邻算法
K近邻(KNN)是一种基于“物以类聚”思想的监督学习算法,通过计算样本间距离,选取最近K个邻居投票决定类别。支持多种距离度量,如欧式、曼哈顿、余弦相似度等,适用于分类与回归任务。结合Scikit-learn可高效实现,需合理选择K值并进行数据预处理,常用于鸢尾花分类等经典案例。(238字)
|
6月前
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。
|
12月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1117 6
|
7月前
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
267 6

相关产品

  • 私网连接
  • 下一篇
    开通oss服务