如何快速部署大模型接口管理和分发系统:One-API

简介: One API 是一个开源的接口管理与分发系统,支持多种大模型平台如 OpenAI、Google PaLM 2、百度文心一言等。通过统一接口访问不同大模型服务,简化工作流程并提高效率。适用于多模型集成项目、开发代理服务、教育研究及快速原型制作等多种场景。阿里云计算巢提供了快速部署方案,简化了部署过程。

目前业界内有很多的大模型服务,比如OpenAI’s ChatGPT、Google’s PaLM2/Gemini、百度的文心一言等多个平台的大模型,如果要接入大模型的话,需要针对每个特定的AI平台独立编写和维护代码。当需要集成多个大模型时,工作成本就高了,这个时候如果能通过统一的接口访问不同的大模型服务,可以极大地简化工作流程和提高效率,One API 就是这样一个工具。


什么是One API?

One API 是一个开源的OpenAI接口管理与分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用。


One API 的使用场景是什么?

  1. 多模型集成项目:当你的项目需要集成多个大模型,而这些模型分布在不同的AI平台时,One API可以作为统一的接口,简化你的集成工作。
  2. 开发代理服务:如果你需要构建一个自己的AI服务,而后端需要调用不同的AI模型,One API可以作为后端服务,你只需要与One API交互,而不需要处理与各个AI平台的具体交互细节。
  3. 教育和研究:在AI的学习和研究中,经常需要对比不同模型的表现。One API可以简化这一流程,使研究者可以轻松切换不同的模型进行对比分析。
  4. 小型企业或个人项目:对于资源有限的小型企业或个人开发者,可能没有足够的时间和精力去适配和管理多个AI平台的API。One API提供了一个简单便捷的解决方案。
  5. 在敏捷开发中快速原型制作:当你需要快速验证一个涉及AI模型的想法时,One API可以帮助你省去了配置和接入多个AI服务的时间,让你更专注于原型的开发。


    One API在处理需要访问多个AI模型的项目时尤为有用,它通过提供统一的接口来简化开发流程,节省时间和资源。不论是在开发复杂的综合AI服务、进行AI模型对比研究,还是简单地快速验证AI相关的项目想法,One API都能提供强大的支持。


如何使用One API?

One API 可以用来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。


  1. 使用root 账号登录,默认密码:123456
  2. 在渠道页面中添加新的渠道

image.png

  1. 然后在令牌页面中新增访问令牌

image.png

  1. 客户端使用令牌访问 One API。
  2. 根据请求中的 model 参数,匹配对应的渠道(根据渠道里的模型进行匹配,必须完全一致)。如果匹配到多个渠道,则随机选择一个(同优先级)
  3. One API 向真正的地址发出请求,并将结果返回给客户端


如何在阿里云上快速部署One API

阿里云计算巢提供了快速部署的One API的解决方案,只需要简单填写配置就可以一键部署到自己的VPC 内,非常简单快捷,操作步骤如下:

  1. 单击部署链接,进入计算巢的服务实例部署界面。
  2. 根据界面提示,填写参数完成部署。

image.png

选择实例规格,并设置实例密码

image.png

设置可用区和VPC信息

image.png

  1. 设置完参数后,点击下一步确认订单,点击立即创建,等待服务实例创建完成。
  2. 服务实例创建成功后,进入服务实例详情页。在概览页可获取one-api登录信息。

image.png

   使用初始账号登录,用户名为 root,密码为 123456



参考文档:

https://docs.geekai.me/config/chat/one-api.html#geekai-%E9%85%8D%E7%BD%AE

https://aibard123.com/newtutorial/2024/02/one-api/


---

查看更多计算巢服务 (https://computenest.aliyun.com)

相关文章
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
智谱AI推出的GLM-4V-Flash是一款专注于图像理解的免费开放大模型,提供API接口支持用户上传图片URL或Base64编码图片获取详细的图像描述。该模型通过深度学习和卷积神经网络技术,简化了图像分析流程,提高了开发效率,适用于内容审核、辅助视障人士、社交媒体、教育和电子商务等多个应用场景。
86 14
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
|
4月前
|
消息中间件 运维 Serverless
函数计算产品使用问题之如何部署Stable Diffusion Serverless API
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
JSON API 数据处理
Winform管理系统新飞跃:无缝集成SqlSugar与Web API,实现数据云端同步的革新之路!
【8月更文挑战第3天】在企业应用开发中,常需将Winform桌面应用扩展至支持Web API调用,实现数据云端同步。本文通过实例展示如何在已有SqlSugar为基础的Winform系统中集成HTTP客户端调用Web API。采用.NET的`HttpClient`处理请求,支持异步操作。示例包括创建HTTP辅助类封装请求逻辑及在Winform界面调用API更新UI。此外,还讨论了跨域与安全性的处理策略。这种方法提高了系统的灵活性与扩展性,便于未来的技术演进。
281 2
|
4月前
|
开发框架 缓存 前端开发
基于SqlSugar的开发框架循序渐进介绍(23)-- Winform端管理系统中平滑增加对Web API对接的需求
基于SqlSugar的开发框架循序渐进介绍(23)-- Winform端管理系统中平滑增加对Web API对接的需求
|
1月前
|
存储 数据可视化 API
重磅干货,免费三方网络验证[用户系统+CDK]全套API接口分享教程。
本套网络验证系统提供全面的API接口,支持用户注册、登录、数据查询与修改、留言板管理等功能,适用于不想自建用户系统的APP开发者。系统还包含CDK管理功能,如生成、使用、查询和删除CDK等。支持高自定义性,包括20个自定义字段,满足不同需求。详细接口参数及示例请参考官方文档。
|
1月前
|
存储 前端开发 搜索推荐
淘宝 1688 API 接口助力构建高效淘宝代购集运系统
在全球化商业背景下,淘宝代购集运业务蓬勃发展,满足了海外消费者对中国商品的需求。掌握淘宝1688 API接口是构建成功代购系统的關鍵。本文详细介绍如何利用API接口进行系统架构设计、商品数据同步、订单处理与物流集成,以及用户管理和客户服务,帮助你打造一个高效便捷的代购集运系统,实现商业价值与用户满意度的双赢。
|
1月前
|
监控 安全 测试技术
我们为什么要API管理系统呢?
API 管理系统通过接口标准化与复用、简化开发流程、版本管理、监控与预警、访问控制、数据加密、安全审计、集中管理与共享、协作开发、快速对接外部系统和数据驱动的决策等多方面优势,显著提高开发效率、增强系统可维护性、提升系统安全性、促进团队协作与沟通,并支持业务创新与扩展。
|
1月前
|
Web App开发 人工智能 自然语言处理
WebChat:开源的网页内容增强问答 AI 助手,基于 Chrome 扩展的最佳实践开发,支持自定义 API 和本地大模型
WebChat 是一个基于 Chrome 扩展开发的 AI 助手,能够帮助用户理解和分析当前网页的内容,支持自定义 API 和本地大模型。
69 0
|
2月前
|
监控 安全 API
Docker + .NET API:简化部署和扩展
Docker + .NET API:简化部署和扩展
42 0
|
2月前
|
监控 安全 API
最完美的扩展Docker + .NET API:简化部署和扩展
最完美的扩展Docker + .NET API:简化部署和扩展
92 0