狂揽22.6k星！这个开源工具让你一键调用100+大模型，开发效率直接起飞！

嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法

与其在不同厂商的API文档里反复横跳，不如用LiteLLM统一调用所有大语言模型！

项目介绍

LiteLLM 是由BerriAI团队开发的开源神器，它通过标准化OpenAI格式的API接口，让开发者可以无缝调用包括OpenAI、Azure、Anthropic、Hugging Face等在内的100+主流大语言模型。无论是企业级AI应用开发，还是个人AI工具搭建，这个项目都能让你摆脱"API接口地狱"，真正实现"一次开发，全平台通用"。

核心功能亮点

一网打尽主流模型

• 支持列表覆盖行业标杆：从OpenAI的GPT-4到Anthropic的Claude3，从Hugging Face的开源模型到阿里云灵积，甚至支持私有化部署的本地模型
  
• 调用方式完全统一：所有模型只需completion()函数即可调用，响应格式标准化为response.choices[0].message.content
  

# 调用GPT-4与Claude3完全一致的写法
from litellm import completion

gpt_response = completion(model="openai/gpt-4", messages=[{"role":"user","content":"你好！"}])
claude_response = completion(model="anthropic/claude-3-sonnet", messages=messages)


企业级智能路由

• 故障自动转移：当Azure服务异常时自动切换至AWS Bedrock，保障服务连续性
• 流量智能分配：根据预算自动分配请求到不同价位的模型，成本直降40%
• 实时成本监控：通过代理服务器追踪每个API密钥的token消耗，杜绝预算超支

开发者友好设计

• 异步流式响应：处理万字长文生成时，文字逐词返回不卡顿
• 环境变量管理：支持通过.env文件集中管理所有平台密钥
• 版本强兼容：完美适配OpenAI SDK v1.0+与Pydantic v2.0+

技术架构解析

五大应用场景

企业级AI中台搭建

通过LiteLLM Proxy实现：

• 统一鉴权：对接企业AD域账号体系
• 流量管控：按部门设置QPS限制
• 合规审计：满足GDPR/HIPAA要求

多模型对比测试

models = ["openai/gpt-4", "anthropic/claude-3", "huggingface/llama3"]
for model in models:
   start = time.time()
   response = completion(model=model, messages=test_prompt)
   print(f"{model} 响应时间：{time.time()-start:.2f}s")


教育科研实验

• 一键切换不同量级模型对比输出效果
• 支持本地部署的学术专用模型
• 提供token成本计算器

三步快速上手

1. 安装配置

pip install litellm
export OPENAI_API_KEY="sk-xxx"  # 支持同时配置多个平台密钥
export ANTHROPIC_API_KEY="sk-yyy"


2. 基础调用

from litellm import completion

response = completion(
   model="huggingface/bigcode-starcoder",
   messages=[{"role":"user","content":"用Python实现快速排序"}]
)
print(response.choices[0].message.content)


3. 进阶功能

# 流式响应（适合实时对话场景）
response = completion(model="openai/gpt-4", messages=messages, stream=True)
for chunk in response:
   print(chunk.choices[0].delta.content, end="", flush=True)

# 异步批量处理（提升10倍吞吐量）
import asyncio
async def batch_query():
   tasks = [acompletion(model=model, messages=msg) for msg in message_list]
   return await asyncio.gather(*tasks)


项目图片

同类项目对比

项目地址

https://github.com/BerriAI/litellm