DeepSeek 给 API 网关上了一波热度

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: API 网关并不是一个新的概念,但 DeepSeek 的全民化趋势给 API 网关上了一波热度。本文将围绕 API 网关的上下游概念、演进历程和分类、核心能力、DeepSeek 如何接入 API 网关等方面,和大家一起更加立体的重新认识下 API 网关。

作者:望宸、子釉


API 网关并不是一个新的概念,但 DeepSeek 的全民化趋势给 API 网关上了一波热度。本文将围绕 API 网关的上下游概念、演进历程和分类、核心能力、DeepSeek 如何接入 API 网关等方面,和大家一起更加立体的重新认识下 API 网关。


目录:

01 引言

02 API 网关的相关概念

03 API 网关的演进历程和分类

04 API 网关的核心能力和应用场景

05 如何使用阿里云云原生 API 网关接入 DeepSeek


引言


API 网关作为管理 API 的核心组件,在整个架构体系中扮演着至关重要的角色,它就像是一个智能的交通枢纽,负责协调和管理各种 API 请求,确保请求的安全和稳定,实现高效和丝滑的响应。大模型应用的很多刚性诉求正在通过 API 网关来满足,例如:


  • 后端接多个大模型,这即是产品体验考虑,也是稳定性的考虑,已是大模型应用的标配,无论是对话型应用,还是代码类应用。
  • 是否具备联网搜索,大模型的生成质量相差很大,前端要透出联网搜索能力的选项。
  • 内容输出安全和合规,在内容生成前进行管控。
  • 语义缓存,将 API 的响应结果临时存储在缓存服务器中,当有相同的请求再次到来时,直接从缓存中获取响应结果,降低官方 API 的调用成本。
  • 调用方配额限速,对每个调用方(如用户、应用程序、IP 地址等)在一定时间内对 API 的调用次数、流量大小或资源使用量进行限制的机制。
  • 后端保护式限流,对 API 的访问流量进行管理和控制,确保 API 能够稳定、高效地运行,包括负载均衡、限流、降级、熔断等能力。


API 网关的相关概念


2.1 API


API(Application Programming Interface,应用程序编程接口)是一组规定和协议,它定义了不同软件应用或组件之间如何相互沟通和交互的方法。API 可以视为一个中间件,它允许开发者访问和使用某些功能或数据,而无需了解背后的详细实现。例如,阿里云 API 提供给开发者的一系列应用程序接口,使得开发者可以通过 API 来管理云上资源、数据和服务等内容。API 的分类:


image.png

阿里云云原生 API 网关控制台创建 API 的入口界面


  • HTTP API:基于 HTTP 协议的接口,以路由为中心。适用于适用于对接口没有统一规范约束的场景,例如 K8s Ingress、微服务架构、AI(SSE)等场景,实现服务的对外快速暴露。
  • REST API:RESTful 风格的 HTTP接 口,以资源为导向,通过标准 HTTP 方法(如 GET、POST 等)对资源进行操作,所有接口遵循统一的 OpenAPI 规范,适用于 API First、跨团队协作、API 精细化管控等场景。
  • WebSocket 协议接口:适用于双向实时通讯,如 AI、IoT、即时通讯等。相比 HTTP API,WebSocket 提供了实时数据传输能力,内置长连接相关默认配置。
  • AI API:针对 AI 网关优化的 API 类型,提供更友好的 AI 网关配置和调试能力,并预置 AI 代理、AI 观测、消费者鉴权、内容安全防护等插件能力。


2.2 API 网关


API 网关(即 API Gateway,简写:APIG)是一种提供 API 托管服务的中间件。它处于客户端和后端服务之间,是客户端访问后端服务的唯一入口。所有来自客户端的请求都首先经过 API 网关,然后由 API 网关将请求路由到后端的服务。它就像一个门卫,负责对请求进行身份验证、权限检查、流量控制等操作,确保 API 请求的安全和稳定。


2.3 其他相关概念


image.png


  • 域名:浏览器里的地址,客户端请求的开始,即 www.xxx.com。
  • DNS:域名系统,将域名地址解析位对应的 IP 地址,用于计算机在网络上的互相识别和通信。
  • IP 地址:为互联网上的每个设备(如计算机、手机、路由器等)提供了一个逻辑地址,确保数据包可以准确地从源设备发送到目标设备。
  • 路由:指在网络中,数据包从源地址到目的地址传输过程中所经过的路径选择过程。创建路由过程中,可以定义请求的路径、方法、参数等规则,将请求分发到对应的后端服务。
  • 来源和服务:请求到了 API 网关后,通过动态获取后端服务列表才能继续访问服务,需要支持容器服务、Nacos、固定地址、DNS 域名和 Serverless 计算等多种形式,来添加服务。
  • 环境:定义了 API 生命周期管理过程中的不同状态,API 可以被发布到不同的自定义环境中,如开发环境、测试环境、生产环境等,以便在不同阶段对 API 进行测试和管理。
  • API 分组:是同一种业务 API 的集合,可视为一种服务,如征信查询服务。API 开发者以 API 分组为单位,管理分组内的所有 API,方便对同类业务的 API 进行统一管理和维护。
  • 消费者:是客户端访问 API 的凭证。启用消费者,需要在对应接口/路由中开启消费者认证,并创建消费者与接口/路由的授权关系。开启消费者认证后,只有被消费者授权的接口/路由,才可使用对应凭证访问。


API 生网关的演进历程和分类


API 网关并非独立的,而是伴随着软件架构的演进尔演进。软件架构经历了单体架构、垂直架构、SOA 架构、微服务架构、云原生架构,随着大模型的普及,开始往 AI 原生架构演进,这个过程中,API 网关的形态也在随之迭代,在不同软件架构阶段中呈现出不同的形态。


3.1 流量网关


image.png


负责管理和优化数据流量,以提升业务的可伸缩性和高可用性。Nginx 作为流量网关的代表性软件,以其高效的性能和灵活的配置广受欢迎。流量网关的核心目的是解决多业务节点的流量负载均衡问题,通过智能调度将客户请求分配到不同的服务器上,从而均匀分摊负载,避免单点故障,确保服务的稳定性和连续性。


3.2 企业服务总线(ESB)网关


image.png


专为企业设计的关键集成解决方案,旨在标准化和简化不同系统和服务之间的通信与消息传送。遵循服务导向型架构(SOA)原则,ESB 通过集中管理消息路由、转换和安全,实现服务的快速部署和高效运作。


3.3 微服务网关


image.png


负责集中管理微服务的路由规则,增强系统安全性,提供性能监控,并简化访问流程,从而提高整个系统的可靠性。微服务网关可以实现负载均衡、限流、熔断、身份验证等功能,通过统一入口管理和优化各微服务间的交互。此举不仅简化了客户端与微服务的通信复杂性,还为系统安全提供了额外的保护,Spring Cloud Gateway 是一个广泛应用的微服务网关,它基于 Spring 生态系统,易于与 Spring Boot 项目集成,因其灵活、高效和可扩展性受到了开发者的青睐。


3.4 云原生网关


image.png


伴随 K8s 的广泛应用而诞生的一种创新网关,K8s 集群内外网络天然隔离的特性要求通过网关来将外部请求转发给集群内部服务,K8s 采用 Ingress/Gateway API 来统一网关的配置方式,同时 K8s 提供了弹性扩缩容来帮助用户解决应用容量调度问题,基于此用户对网关产生了新的诉求:期望网关既能有流量网关的特性来处理海量请求,又具备微服务网关的特性来做服务发现与服务治理,同时要求网关也具备弹性扩缩容能力解决容量调度问题,例如 Envoy 和 Higress 是典型的开源云原生网关。


3.5 AI 网关


我们认为,AI 网关并不是独立于云原生网关的新形态,本质上也可以称之为云原生网关,区别在于针对 AI 场景的新需求专门做了扩展,例如提供多模型灵活切换&兜底重试、大模型内容安全和合规、语义化缓存、多 API Key 均衡、Token 配额管理和限流、大模型流量灰度、调用成本审计等能力。业内,Higress 和 Kong 在云原生网关的基础上,演进出了专门面向 AI 场景的能力,此外,还有 Traefix、Cloudflare 均设计了 AI 网关的产品和服务。关于 AI 网关的核心能力,可以参考我们之前的文章《AI 网关需要具备的 10 大基本能力》。


API 网关的核心能力


由于围绕 API 提供的网关能力繁多,涉及的角色众多,我们将所有能力基于使用方进行分类,包括研发、供应和消费三类场景,分别对应 API 接口的研发团队、API 平台的研发和运维团队、API 平台的外部调用方。


image.png


4.1 API 研发场景


API First 是先定义好 API 规范,再 code。不同于不定义 API,直接 coding,API First 强调的是在构建应用程序之前优先设计和开发 API 接口,将 API 视为系统的核心架构组件,通过定义良好的接口规范实现模块化。例如公共云的云产品都提供了 API 的调用方式,微信小程序、钉钉开放平台也面向开发者提供了 API 接口,类似乐高积木的模块化系统,通过标准接口实现服务间的灵活组合,提升系统的可扩展性和维护性,从而提升生态效率。在研发场景下,API 网关可以覆盖 API 的设计、开发、测试、发布、售卖、运维监测、安全管控、下线等围绕 API 的各个生命周期。


4.2 API 供应场景


API 供应场景指 API 提供方(如企业、平台或服务)通过标准化接口对外暴露数据或功能的过程。其核心是创建、管理和维护 API,确保其可用性、安全性和高效性。核心能力包括:


  • API 安全:保护 API 免受各种安全威胁,确保只有经过授权的用户、应用程序能够访问 API,并保障数据在传输和存储过程中的保密性、完整性和可用性。例如身份验证、授权管理、数据加解密、防攻击机制。
  • 灰度:是一种在生产环境中逐步引入新 API 版本或功能的策略,允许将一部分用户或请求流量导向新版本的 API,同时将其余部分仍保持在旧版本上,从而在不影响整体系统稳定性和用户体验的前提下,对新 API 进行测试和验证。
  • 缓存:指将 API 的响应结果临时存储在缓存服务器中,当有相同的请求再次到来时,直接从缓存中获取响应结果,而无需再次访问后端服务器,从而提高 API 的响应速度和系统的性能。


4.3 API 消费场景


API 消费场景指调用方(如应用、开发者)通过集成外部 API 快速实现功能或获取数据的过程。其核心是使用平台方提供的能力或数据,实现业务需求。

  • 调用审计:对 API 的调用活动进行全面记录、监控和分析的过程。它会详细记录每一次 API 调用的相关信息,包括调用时间、调用方身份、调用的 API 接口、请求参数、响应结果、响应时间等。
  • 调用方配额限速:指 API 网关根据预先设定的规则,对每个调用方(如用户、应用程序、IP 地址等)在一定时间内对 API 的调用次数、流量大小或资源使用量进行限制的机制。
  • 后端保护式限流:对 API 的访问流量进行管理和控制,确保 API 能够稳定、高效地运行,避免因流量过大或异常流量导致的系统崩溃和性能下降,包括负载均衡、限流、降级、熔断等能力。


如何使用阿里云云原生 API 网关接入 DeepSeek


5.1 前提条件


  • 专有网络 VPC 已创建公网 NAT 网关,并绑定公网弹性 IP,具体操作见创建和管理专有网络[1]、使用公网 NAT 网关 SNAT 功能访问互联网[2]。
  • 基于上述 VPC,创建云原生 API 网关实例,具体操作请参见创建网关实例[3]。


下列演示中,提供 3 个场景供参考:


  • 已集成模型接入 AI 网关
  • 通用模型接入 AI 网关
  • AI 网关实现多模型代理


5.2 场景 1,已集成模型接入 AI 网关


阿里云云原生 API 网关中已经集成部分大模型供应商,该类模型可通过选择供应商及配置 API-KEY 直接接入。包含:阿里云百炼、DeepSeek、OpenAI、Azure、Claude、月之暗面、百川智能、零一万物、智谱AI、混元、阶跃星辰、星火、豆包(火山引擎)、MiniMax、Gemini。


配置 AI 服务


网关通过服务发送请求,创建 AI 服务参考以下方式进行:


1. 登录云原生 API 网关控制台。

2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

3. 在实例页面,单击目标网关实例名称。

4. 在左侧导航栏,选择服务,并单击服务页签。

5. 单击创建服务,在创建服务面板,参考如下信息配置 AI 服务:

  • 服务来源:AI 服务。
  • 大模型供应商:填写对应的模型供应商。
  • 服务地址:使用默认配置。
  • API-KEY:填写模型供应商获取的请求凭证 API-KEY。
  • 阿里云百炼配置示例:


image.png


配置 AI API


1. 返回云原生 API 网关控制台首页,在左侧导航栏,选择 API。

2. 选择 AI API 页签,单击创建 AI API。


image.png


3. 在创建 AI API 控制面板中,配置 AI API 基本信息,其中:

  • 域名:建议配置域名(使用默认环境域名下存在限流)
  • 所属实例:选择创建的实例
  • AI 请求观测:开启
  • 服务模型:单模型服务
  • 服务列表:点击添加,添加下列服务。并选择上一步中配置的阿里云百炼 DeepSeek 服务,模型名称配置为透传


image.png


调试 AI API


创建完成的 AI API 界面中,点击调试。


image.png


指定模型为 deepseek-r1,和阿里云百炼的 DeepSeek 进行对话。


image.png


5.3 场景 2,通用模型方式接入 AI 网关


该场景中通过自定义服务地址,支持以下几种情况:


  • 对于云原生 API 网关中未集成大模型供应商,且该模型支持 OpenAI 协议。
  • 对于通过在阿里云 PAI 或者 FC 等方式部署的 DeepSeek 服务。


本场景中,可直接参考 PAI 部署模型接入 AI 网关[4]方式中的进行接入。


5.4 场景 3,AI 网关多模型代理


配置 AI API


当前云原生 API 网关支持同时基于已集成模型+通用模型的方式接入,提供多模型代理服务,并支持调用异常情况下 Fallback;在该类场景下,用户使用统一调用方式,同时调用不同的三方模型服务。


1. 基于场景 1、场景 2 分别完成了三个网关 AI 服务配置,阿里云百炼、火山引擎、PAI,火山引擎的服务配置可参考下面进行。

image.png


2. 在 AI API 创建时(或进入编辑态),按照以下方式配置大模型服务:


  • 服务模型:多模型服务(按模型名称)
  • 服务列表:点击添加,添加下列多个服务。
  • 选择上一步中配置的 PAI DeepSeek 服务,模型名称匹配规则配置为 DeepSeek-*
  • 选择上一步中配置的火山引擎 DeepSeek 服务,模型名称匹配规则配置为 ep-*
  • Fallback:开启
  • Fallback 列表:点击添加,添加下列服务。
  • 选择上一步中配置的阿里云百炼 DeepSeek 服务,模型名称配置为 deepseek-r1


image.png


如图所示的配置会按照下列规则执行:


  • 模型为 DeepSeek-* 时调用 PAI DeepSeek
  • 模型为 ep-* 时调用火山引擎 DeepSeek;
  • 在出错或限流场景下调用阿里云 DeepSeek。(如配置多个 Fallback,则按顺序调用)


调试 AI API


创建完成的 AI API 界面中,点击调试


image.png


填写模型名称为 ep-20250219155230-28l6f、DeepSeek-R1-Distill-Qwen-1.5B 时,会按照规则响应火山引擎、PAI。


image.png


当填写一个错误的名称,此时没有对应的 DeepSeek 模型,因此会触发 Fallback,调用到阿里云 DeepSeek-R1:


image.png


后续,我们将对各行业客户使用 DeepSeek+API 网关搭建企业内外部服务的实践进行经验汇总,并整理成文章,发布于本公众号,欢迎大家订阅关注。


参考链接:


[1] https://help.aliyun.com/zh/vpc/user-guide/create-and-manage-a-vpc

[2] https://help.aliyun.com/zh/vpc/user-guide/use-the-snat-feature-of-an-internet-nat-gateway-to-access-the-internet

[3] https://help.aliyun.com/zh/api-gateway/cloud-native-api-gateway/user-guide/create-gateway

[4] https://help.aliyun.com/zh/api-gateway/cloud-native-api-gateway/use-cases/pai-deployment-model-access-ai-gateway

相关文章
|
7天前
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
24天前
|
人工智能 缓存 安全
钉钉 + AI 网关给 DeepSeek 办入职
通过 Open-WebUI 在企业内部部署一套 DeepSeek 只是第一步,给 DeepSeek 办理入职,在钉钉等企业通讯工具上和 DeepSeek 对话才是真时尚。
186 104
钉钉 + AI 网关给 DeepSeek 办入职
|
10天前
|
存储 人工智能 Java
Spring AI与DeepSeek实战四:系统API调用
在AI应用开发中,工具调用是增强大模型能力的核心技术,通过让模型与外部API或工具交互,可实现实时信息检索(如天气查询、新闻获取)、系统操作(如创建任务、发送邮件)等功能;本文结合Spring AI与大模型,演示如何通过Tool Calling实现系统API调用,同时处理多轮对话中的会话记忆。
226 57
|
22天前
|
存储 前端开发 JavaScript
调用DeepSeek API增强版纯前端实现方案,支持文件上传和内容解析功能
本方案基于DeepSeek API增强版,提供纯前端实现的文件上传与内容解析功能。通过HTML和JavaScript,用户可选择文件并调用API完成上传及解析操作。方案支持多种文件格式(如PDF、TXT、DOCX),具备简化架构、提高响应速度和增强安全性等优势。示例代码展示了文件上传、内容解析及结果展示的完整流程,适合快速构建高效Web应用。开发者可根据需求扩展功能,满足多样化场景要求。
|
24天前
|
人工智能 自然语言处理 API
如何在 10 分钟内将 DeepSeek API 集成到您的应用程序
在AI时代,DeepSeek API以其先进的模型帮助企业快速集成自然语言处理等功能,无需深厚机器学习背景。通过Apipost工具,开发者可轻松测试、调试API并生成代码,优化工作流。本文介绍从身份验证到错误处理的完整流程,并提供相关资源链接,助您高效实现应用智能化。
|
1月前
|
人工智能 自然语言处理 前端开发
【2025.3.08更新】Linkreate wordpress AI智能插件|自动生成SEO文章/图片/视频+长尾词优化 内置DeepSeek多模型支持与API扩展
Linkreate WordPress AI插件提供强大的自动化文章生成、SEO优化、关键词管理和内容采集功能。它能根据关键词自动生成高质量文章,支持多语言和批量生成,内置长尾关键词生成工具,并可定时自动发布文章。插件还集成了多种AI服务,支持前端AI客服窗口及媒体生成,帮助用户高效管理网站内容,提升SEO效果。
【2025.3.08更新】Linkreate wordpress AI智能插件|自动生成SEO文章/图片/视频+长尾词优化 内置DeepSeek多模型支持与API扩展
|
23天前
|
人工智能 API 开发工具
【AI大模型】使用Python调用DeepSeek的API,原来SDK是调用这个,绝对的一分钟上手和使用
本文详细介绍了如何使用Python调用DeepSeek的API,从申请API-Key到实现代码层对话,手把手教你快速上手。DeepSeek作为领先的AI大模型,提供免费体验机会,帮助开发者探索其语言生成能力。通过简单示例代码与自定义界面开发,展示了API的实际应用,让对接过程在一分钟内轻松完成,为项目开发带来更多可能。
|
2月前
|
人工智能 Cloud Native 安全
DeepSeek + Higress AI 网关/Spring AI Alibaba 案例征集
诚挚地感谢每一位持续关注并使用 Higress 和 Spring AI Alibaba 的朋友,DeepSeek + Higress AI 网关/Spring AI Alibaba 案例征集中。
302 22
|
1月前
|
人工智能 自然语言处理 Java
一文轻松拿下DeepSeek满血版的Api接口接入
本文详细介绍了如何基于阿里云百炼平台快速接入DeepSeek满血版API接口,实现文本问答的智能操作。通过简单的步骤,包括开通平台、创建API-KEY、配置环境变量、安装SDK和调用模型,即使是编程新手也能在5分钟内完成配置。DeepSeek-R1模型拥有671B参数,在数学、代码和自然语言推理等任务上表现出色。文章还提供了完整的Java代码示例,帮助读者轻松上手。链接:[解决方案](https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms?utm_content=g_1000401616)
825 1
一文轻松拿下DeepSeek满血版的Api接口接入
|
2月前
|
机器学习/深度学习 人工智能 Serverless
👉「免费满血DeepSeek实战-联网搜索×Prompt秘籍|暨6平台横评」
满血 DeepSeek 免费用!支持联网搜索!创作声明:真人攥写-非AI生成,Written-By-Human-Not-By-AI
3157 10
👉「免费满血DeepSeek实战-联网搜索×Prompt秘籍|暨6平台横评」