❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 轻量级框架：Promptic 是一个轻量级的 LLM 应用开发框架，基于 LiteLLM 构建，支持通过一行代码切换不同的 LLM 服务提供商。
- 主要功能：提供类型安全的输出、流式支持、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能。
- 技术原理：通过 LiteLLM 集成、装饰器模式、动态提示生成、响应验证和状态管理等技术实现其功能。
正文（附运行示例）
Promptic 是什么
Promptic 是一个轻量级的 LLM 应用开发框架，旨在提供高效且符合 Python 风格的开发方式。它基于 LiteLLM 构建，支持开发者轻松切换不同的 LLM 服务提供商，只需更改一行代码。Promptic 提供了流式响应、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能，而不是底层的复杂性。
Promptic 的灵活性和易用性使其成为 LLM 开发领域的有力助手。无论是构建聊天机器人、内容生成、语言翻译还是情感分析，Promptic 都能提供强大的支持。
Promptic 的主要功能
- 类型安全的输出：使用 Pydantic 模型确保 LLM 返回的数据结构符合预期，提高代码的健壮性。
- 代理构建：创建能被 LLM 调用的工具函数，实现复杂的任务分解。
- 流式支持：支持实时响应生成，适用于长内容或交互式应用场景。
- 内置对话记忆：支持 LLM 在多次交互中保持上下文，增强用户体验。
- 错误处理和重试：提供错误处理机制和自动重试功能，增强应用的稳定性和可靠性。
Promptic 的技术原理
- LiteLLM 集成：基于 LiteLLM 构建，LiteLLM 是轻量级的 LLM 客户端库，抽象不同 LLM 提供商的 API。
- 装饰器模式：使用 Python 装饰器扩展函数功能，如
@llm和@llm.tool，无需修改函数内部代码即可增加新的行为。 - 动态提示生成：将函数的文档字符串与实际参数动态组合生成提示（prompt），发送给 LLM 进行处理。
- 响应验证：基于 Pydantic 模型对 LLM 的响应进行验证，确保数据的正确性和完整性。
- 状态管理：基于
State类实现对话状态的管理，支持对话记忆功能，让开发者自定义存储解决方案。
如何运行 Promptic
安装
首先，通过 pip 安装 Promptic：
pip install promptic
基本用法
使用 @llm 装饰器可以将函数转换为 LLM 驱动的函数。函数的文档字符串将作为提示模板，与函数参数结合生成提示并返回 LLM 的响应。
from promptic import llm
@llm
def translate(text, language="Chinese"):
"""Translate '{text}' to {language}"""
print(translate("Hello world!"))
# 您好，世界！
print(translate("Hello world!", language="Spanish"))
# ¡Hola, mundo!
结构化输出
使用 Pydantic 模型可以确保 LLM 返回的数据结构符合预期。只需定义一个 Pydantic 模型并将其用作返回类型注解。
from pydantic import BaseModel
from promptic import llm
class Forecast(BaseModel):
location: str
temperature: float
units: str
@llm
def get_weather(location, units: str = "fahrenheit") -> Forecast:
"""What's the weather for {location} in {units}?"""
print(get_weather("San Francisco", units="celsius"))
# location='San Francisco' temperature=16.0 units='Celsius'
代理构建
使用 @llm.tool 装饰器可以将函数注册为工具，LLM 可以调用这些工具来执行操作或获取信息。
from datetime import datetime
from promptic import llm
@llm(model="gpt-4o")
def scheduler(command):
"""{command}"""
@scheduler.tool
def get_current_time():
"""Get the current time"""
return datetime.now().strftime("%I:%M %p")
@scheduler.tool
def add_reminder(task: str, time: str):
"""Add a reminder for a specific task and time"""
return f"Reminder set: {task} at {time}"
cmd = """
What time is it?
Also, can you check my calendar for tomorrow
and set a reminder for a team meeting at 2pm?
"""
print(scheduler(cmd))
# The current time is 3:48 PM. I checked your calendar for tomorrow, and there are no conflicts. I've also set a reminder for your team meeting at 2 PM tomorrow.
资源
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
