DeepSeek-R1 来了,如何从 OpenAI 平滑迁移到 DeepSeek

本文涉及的产品
性能测试 PTS,5000VUM额度
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Higress 作为一款开源的 AI 网关工具,可以提供基于灰度+观测的平滑迁移方案。

作者:钰诚


01 背景

1 月 20 日晚,DeepSeek(深度求索)公司发布推理模型 DeepSeek-R1 正式版,同步开源模型权重,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评:这,才是真正的 OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本,却完全免费。


同时 DeepSeek 也开放了对应的 API 调用方式,过去依赖 OpenAI 的业务,可以考虑直接迁移到 DeepSeek,节省大量成本。


而 Higress 作为一款开源的 AI 网关工具,可以提供基于灰度+观测的平滑迁移方案。

image.png


02 快速安装 Higress

仅需一行命令,即可快速在本地搭建好 Higress AI 网关(此步骤需要有 Docker 环境):


curl -sS  https://higress.cn/ai-gateway/install.sh | bash


执行以上命令后,会进入引导界面,可以在此处配置 provider 的 apikey,也可以输入回车直接跳过:

image.png

配置完 provider,AI 网关就启动完成了:

image.png

根据启动脚本提供的地址可以访问 Higress 控制台,Higress AI 网关内置了主流的 LLM Provider,仅需要在控制台上简单填写 APIKey 即可完成 provider 的配置,例如配置 deepseek provider:

image.png

执行以下 python 脚本即可访问 DeepSeek:


import json
from openai import OpenAI

client = OpenAI(
    api_key="none",
    base_url="http://localhost:8080/v1",
    default_headers={"Accept-Encoding": "identity"},
)

completion = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": "You are a helpful assistant"},
        {"role": "user", "content": "Hello!"}
    ],
    stream=False
)

print(completion.choices[0].message.content)
Hello! How can I assist you today? 😊


03 从 OpenAI 平滑迁移到 DeepSeek


3.1. 配置灰度路由

网关支持模型按比例灰度能力,便于用户在模型间迁移,如下图所示,请求流量将有 90% 被路由到 OpenAI,10% 被路由到 Deepseek。

image.png


3.2. API Key 二次分租

Higress 基于 API 网关的消费者鉴权能力支持 API Key 的二次分租,使用者在对外提供服务时,可以屏蔽掉模型提供商的 API Key,在网关上签发自己的 API Key 供用户使用,从而可以兼容历史调用方的 API Key;除了能够控制消费者的调用权限和调用额度,配合可观测能力,还可以对每个消费者的 token 用量进行观测统计。

image.png

image.png


3.3. 观测灰度过程

在灰度的过程中,需要持续观测不同模型的 token 开销以及响应速度的情况,来整体衡量切换效果。


网关具备开箱即用的 AI 可观测能力,提供了全局、provider 维度、模型维度以及消费者维度的 token 消耗/延时等观测能力。

image.png


3.4. 实现 AI API 的安全调用

DeepSeek 的用户协议里明确提到:

7.2 我们致力于提供安全、稳定、持续的服务,保障用户正常使用,但本服务仅以“现状”、“当前功能”的状态提供。尽管我们已经尽了最大努力,但是由于本服务所依赖的技术本身存在的技术瓶颈和科技客观限制,我们不能对以下事项作出任何保证,具体如下:

...

(4)本服务的输入和输出虽已经过过滤审查,但仍不排除无法发现您的输入或本服务输出中存在违规问题,不排除其中部分信息具有瑕疵、存在虚假内容或存在不合理、引发用户不适的地方;

...


Higress 对接了阿里云内容安全,能够做到对大模型请求/响应的实时处理与内容封禁,阿里云内容安全通过了信通院的认证,能够提供强有力的 AI 内容安全保障。

image.png

image.png

image.png

image.png

开启内容安全后,此时如果发送违规内容,将会得到如下响应:


{
    "id": "chatcmpl-E45zRLc5hUCxhsda4ODEhjvkEycC9",
    "object": "chat.completion",
    "model": "from-security-guard",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "我不能处理隐私信息"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "total_tokens": 0
    }
}

同时,在内容安全控制台可以查看每一个请求的审计日志:

image.png


04 使用阿里云云原生 API 网关

阿里云云原生 API 网关是 Higress 的云上托管产品(https://www.aliyun.com/product/apigateway?spm=5176.14952521.nav-v2-dropdown-menu-1.140.674023bcvbXONI)。云原生 API 网关特别推出了 AI API 作为 AI 流量的管理入口:

image.png

相比于开源 Higress AI 网关,云原生 API 网关 AI API 具有更强大的可观测能力以及更便捷的策略配置能力,用户可一键接入内容安全、限流、缓存等功能,无需填写 yaml 配置。

image.png

此外,云原生 API 网关提供了更丰富的可观测能力,例如内容安全、限流、缓存等相关的监控:

image.png

此外,我们联合 SLS 提供了基于大模型对话的语义向量索引功能以及进阶的语义富化功能,可以实现话题聚类、意图识别、情绪识别、质量评估等能力。

image.png

相关文章
|
9月前
|
人工智能 API 异构计算
基于PAI-EAS一键部署通义千问模型
本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
15天前
|
Linux iOS开发 MacOS
deepseek部署的详细步骤和方法,基于Ollama获取顶级推理能力!
DeepSeek基于Ollama部署教程,助你免费获取顶级推理能力。首先访问ollama.com下载并安装适用于macOS、Linux或Windows的Ollama版本。运行Ollama后,在官网搜索“deepseek”,选择适合你电脑配置的模型大小(如1.5b、7b等)。通过终端命令(如ollama run deepseek-r1:1.5b)启动模型,等待下载完成即可开始使用。退出模型时输入/bye。详细步骤如下图所示,轻松打造你的最强大脑。
9568 86
|
8天前
|
自然语言处理 Serverless 测试技术
DeepSeek 模型快速体验,魔搭+函数计算一键部署模型上云
DeepSeek模型近期备受关注,其开源版本DeepSeek-V3和DeepSeek-R1在多个基准测试中表现出色,性能比肩OpenAI顶尖模型。为降低本地部署门槛,Modelscope社区推出DeepSeek-R1-Distill-Qwen模型的一键部署服务,支持函数计算FC平台的闲置GPU实例,大幅降低成本。用户可选择不同参数量的小模型进行快速部署和推理,体验DeepSeek的强大性能。
DeepSeek 模型快速体验,魔搭+函数计算一键部署模型上云
|
4天前
|
人工智能 Linux API
零门槛本地部署!手把手教你用Ollama+Chatbox玩转DeepSeek大模型
本教程介绍如何在个人电脑上免费部署DeepSeek模型,无需高端显卡。通过Ollama和Chatbox两款轻量工具,用户可以在普通CPU上流畅运行大型语言模型。Ollama支持跨平台操作,提供一键式安装和模型管理;Chatbox则是多平台AI客户端,支持多种主流模型。教程涵盖Ollama和Chatbox的安装、DeepSeek模型的下载与配置,帮助你在本地轻松搭建智能助手,适用于学术研究、代码编写和日常问答等场景。
689 16
零门槛本地部署!手把手教你用Ollama+Chatbox玩转DeepSeek大模型
|
1天前
|
机器学习/深度学习 自然语言处理 API
阿里云 DeepSeek-R1 满血版解决方案评测
阿里云的 **DeepSeek-R1 满血版** 是一款基于深度学习的推理模型,专为数学、代码和自然语言处理等复杂任务设计。它在少量标注数据下显著提升推理能力,支持快速部署,操作简便。用户可通过阿里云平台轻松调用 API,无需编程技能,几分钟内完成配置。该解决方案提供高效推理、灵活部署和低成本起步的优势,特别适合初创企业和技术团队使用。评测显示其推理结果精准、响应迅速且易于集成,性价比高,是提升推理能力的理想选择。
|
1天前
|
人工智能 运维 Serverless
DeepSeek模型部署全过程实践,轻松上手就在阿里云
随着人工智能技术的不断发展,越来越多的企业和个人开始探索如何利用深度学习模型来提升业务效率和用户体验。阿里云推出的【零门槛、轻松部署您的专属 DeepSeek 模型】解决方案为用户提供了多种便捷的部署方式,包括**基于百炼 API 调用满血版、基于人工智能平台 PAl 部署、基于函数计算部署以及基于 GPU 云服务器部署**。本文将从多个维度对这些部署方式进行详细评测,并分享个人的实际体验和观点。
90 24
|
2天前
|
人工智能 运维 Serverless
0 代码!2 种方式,一键部署 DeepSeek 系列模型
DeepSeek 凭借其卓越的性能和广泛的应用场景,迅速在全球范围内获得了极高的关注度和广泛的用户基础。DeepSeek-R1-Distill 是使用 DeepSeek-R1 生成的样本对开源模型进行蒸馏得到的小模型,拥有更小参数规模,推理成本更低,基准测试同样表现出色。依托于函数计算 FC 算力,Serverless+ AI 开发平台 CAP 现已提供模型服务、应用模版两种部署方式辅助您部署 DeepSeek R1 系列模型。完成模型部署后,您即可与模型进行对话体验;或以 API 形式进行调用,接入 AI 应用中。欢迎您立即体验。
|
5天前
|
存储 Kubernetes 测试技术
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
本教程演示如何在ACK中使用vLLM框架快速部署DeepSeek R1模型推理服务。
|
3天前
|
人工智能 自然语言处理 API
DeepSeek全尺寸模型上线阿里云百炼!
阿里云百炼平台近日上线了DeepSeek-V3、DeepSeek-R1及其蒸馏版本等六款全尺寸AI模型,参数量达671B,提供高达100万免费tokens。这些模型在数学、代码、自然语言推理等任务上表现出色,支持灵活调用和经济高效的解决方案,助力开发者和企业加速创新与数字化转型。示例代码展示了如何通过API使用DeepSeek-R1模型进行推理,用户可轻松获取思考过程和最终答案。