这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!

简介: 这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!

前言


在当今的人工智能领域,接入和使用各种大语言模型是非常重要的。


然而,随着技术的不断发展,各种AI模型框架也越来越多,管理和整合多个模型、服务提供商和密钥可能会变得复杂。


幸运的是,而今有一款名为“AI 网关”的开源项目可以帮助简化这一过程。


本篇小编将介绍这个令人振奋的项目,以及它的特色功能、使用方法和应用场景。


项目介绍


AI Gateway 是一个AI领域的开源工具,是应用程序和托管 LLM 之间的接口,通过统一简单的 API,让用户轻松快速接入 100 多种大语言模型,如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。


项目地址:https://github.com/Portkey-AI/gateway


特色功能


  • ✅ 速度极快(快 9.9 倍),占用空间极小(已安装约 45kb)
  • ✅ 跨多个模型、提供程序和密钥的负载平衡
  • ✅ 回退确保您的应用程序保持弹性
  • ✅ 默认情况下具有指数回退的 自动重试
  • ✅ 插件中间件根据需要
  • ✅ 经过超过100B 代币的战斗测试


四大特征


1、统一API签名


2、倒退


3、自动重试


4、负载均衡


使用方法


部署属于自己的私人网关,前提是电脑上安装Node.js 和npx

npx @portkey-ai/gateway

网关web服务启动之后,直接访问以下地址即可:

http://localhost:8787

而详细的用法及相关模型的调用是通过curl 命令请求的,比如使用OpenAI的模型:

curl '127.0.0.1:8787/v1/chat/completions' \
  -H 'x-portkey-provider: openai' \
  -H "Authorization: Bearer $OPENAI_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'

支持的SDK基本上满足当下各种开发语言:Java、Python、GO、JS等。


支持接入的GPT产品有100+。以下只是一部门AI产品截图:


配置AI网关


AI 网关支持配置以启用多种路由策略,例如回退、负载平衡、重试等。 您可以在通过标头


进行 OpenAI 调用时使用这些配置x-portkey-config

// Using the OpenAI JS SDK
const client = new OpenAI({
  baseURL: "http://127.0.0.1:8787", // The gateway URL
  defaultHeaders: {
    'x-portkey-config': {.. your config here ..}, 
  }
});

下面是官方提供的一个示例配置,比如:在回退到 Gemini Pro 之前重试 OpenAI 请求 5 次。

{
  "retry": { "count": 5 },
  "strategy": { "mode": "fallback" },
  "targets": [{
      "provider": "openai",
      "api_key": "sk-***"
    },{
      "provider": "google",
      "api_key": "gt5***",
      "override_params": {"model": "gemini-pro"}
  }]
}

还可以配置在 2 个 OpenAI 密钥之间实现均匀的负载平衡。

{
  "strategy": { "mode": "loadbalance" },
  "targets": [{
      "provider": "openai",
      "api_key": "sk-***",
      "weight": "0.5"
    },{
      "provider": "openai",
      "api_key": "sk-***",
      "weight": "0.5"
    }
  ]
}

应用场景


AI Gateway 适用于各种人工智能应用场景,包括自然语言处理、文本生成、语音识别等。无论是个人开发者还是企业级应用,都可以受益于该工具的便捷性和稳定性。


总结


AI Gateway 是一个令人振奋的开源项目,为用户提供了轻松接入多种大语言模型的解决方案。

其极小的占用空间和快速的处理速度,以及丰富的特色功能,使其成为人工智能领域的导航工具。

通过该工具,用户可以更加高效地管理和集成多个模型,提高应用的稳定性和可靠性。如果你正在寻找一种简单而强大的方法来接入大语言模型,那么AI网关绝对值得一试。

相关文章
|
5天前
|
人工智能 JSON 自然语言处理
[AI OpenAI-doc] 动作入门指南
为GPT创建一个动作需要3个步骤:构建一个API、以OpenAPI YAML或JSON格式记录API、在ChatGPT UI中将Schema暴露给你的GPT。本文将重点介绍通过为GPT定义自定义动作来创建一个待办事项列表GPT。
|
5天前
|
人工智能 测试技术 API
[AI OpenAI-doc] GPT中的动作
学习如何构建一个智能调用你的API的GPT动作。GPT提供了深度定制ChatGPT以满足特定用例的能力,以及自定义功能。
|
6天前
|
存储 人工智能 安全
[译][AI OpenAI-doc] 弃用
随着我们推出更安全、更功能强大的模型,我们定期淘汰旧模型。依赖OpenAI模型的软件可能需要偶尔更新以保持正常工作。受影响的客户将始终通过电子邮件和我们的文档以及博客文章(针对较大的更改)收到通知。本页面列出了所有API弃用情况,以及推荐的替代方案。
|
6天前
|
人工智能 JavaScript 前端开发
[译][AI OpenAI-doc] 库
我们提供了Python库和TypeScript / JavaScript库,支持各种运行时。安装后,您可以使用您的秘钥来运行库中提供的功能。微软的Azure团队也维护了与OpenAI API和Azure OpenAI服务兼容的库。此外,还有许多由社区构建和维护的其他库可供使用。请注意,OpenAI不验证这些项目的正确性或安全性。
|
7天前
|
人工智能 缓存 API
[译][AI OpenAI-doc] 错误代码
本指南包括关于您可能从 API 和我们官方的 Python 库中看到的错误代码的概述。概述中提到的每个错误代码都有一个专门的部分,提供进一步的指导。
|
8天前
|
存储 人工智能 测试技术
[译][AI OpenAI-doc] 批处理 API
了解如何使用 OpenAI 的批处理 API 发送异步请求组,其成本降低 50%,具有一个独立的更高速率限制池,并提供明确的 24 小时完成时间。该服务非常适合处理不需要即时响应的作业。您也可以直接在这里查看 API 参考。
|
9天前
|
人工智能 测试技术 API
[译][AI OpenAI-doc] 速率限制
速率限制是我们的API对用户或客户在指定时间段内访问我们服务的次数施加的限制。速率限制是API的一种常见做法,有助于防止对API的滥用或误用,并确保每个人都能公平地访问API。本文介绍了速率限制的原因、工作方式以及如何处理速率限制错误。
|
11天前
|
人工智能 iOS开发 MacOS
[译][AI OpenAI] 引入 GPT-4o 及更多工具至免费版 ChatGPT 用户
我们推出了最新的旗舰模型 GPT-4o,并为免费版 ChatGPT 用户提供更多功能,包括更快的速度、改进的文本、语音和视觉能力,以及新的桌面应用程序和简化的界面。
[译][AI OpenAI] 引入 GPT-4o 及更多工具至免费版 ChatGPT 用户
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
OpenAI 推出 GPT-4o,免费向所有人提供GPT-4级别的AI ,可以实时对音频、视觉和文本进行推理,附使用详细指南
GPT-4o不仅提供与GPT-4同等程度的模型能力,推理速度还更快,还能提供同时理解文本、图像、音频等内容的多模态能力,无论你是付费用户,还是免费用户,都能通过它体验GPT-4了
53 1
|
11天前
|
机器学习/深度学习 人工智能 安全
[译][AI OpenAI] 您好,GPT-4o
GPT-4o 是OpenAI的新旗舰模型,能够处理文本、音频和图像,并生成各种组合的输出。它在语言理解、视觉感知和音频处理方面表现出色。本文介绍了GPT-4o的能力、评估结果、安全性和局限性,以及其可用性和未来计划。
[译][AI OpenAI] 您好,GPT-4o

热门文章

最新文章