Promptic：轻量级 LLM 应用开发框架，提供完善的底层功能，使开发者更专注于构建上层功能

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. 轻量级框架：Promptic 是一个轻量级的 LLM 应用开发框架，基于 LiteLLM 构建，支持通过一行代码切换不同的 LLM 服务提供商。
2. 主要功能：提供类型安全的输出、流式支持、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能。
3. 技术原理：通过 LiteLLM 集成、装饰器模式、动态提示生成、响应验证和状态管理等技术实现其功能。

正文（附运行示例）

Promptic 是什么

Promptic 是一个轻量级的 LLM 应用开发框架，旨在提供高效且符合 Python 风格的开发方式。它基于 LiteLLM 构建，支持开发者轻松切换不同的 LLM 服务提供商，只需更改一行代码。Promptic 提供了流式响应、内置对话记忆、错误处理和重试等功能，帮助开发者专注于构建功能，而不是底层的复杂性。

Promptic 的灵活性和易用性使其成为 LLM 开发领域的有力助手。无论是构建聊天机器人、内容生成、语言翻译还是情感分析，Promptic 都能提供强大的支持。

Promptic 的主要功能

• 类型安全的输出：使用 Pydantic 模型确保 LLM 返回的数据结构符合预期，提高代码的健壮性。
• 代理构建：创建能被 LLM 调用的工具函数，实现复杂的任务分解。
• 流式支持：支持实时响应生成，适用于长内容或交互式应用场景。
• 内置对话记忆：支持 LLM 在多次交互中保持上下文，增强用户体验。
• 错误处理和重试：提供错误处理机制和自动重试功能，增强应用的稳定性和可靠性。

Promptic 的技术原理

• LiteLLM 集成：基于 LiteLLM 构建，LiteLLM 是轻量级的 LLM 客户端库，抽象不同 LLM 提供商的 API。
• 装饰器模式：使用 Python 装饰器扩展函数功能，如 @llm 和 @llm.tool，无需修改函数内部代码即可增加新的行为。
• 动态提示生成：将函数的文档字符串与实际参数动态组合生成提示（prompt），发送给 LLM 进行处理。
• 响应验证：基于 Pydantic 模型对 LLM 的响应进行验证，确保数据的正确性和完整性。
• 状态管理：基于 State 类实现对话状态的管理，支持对话记忆功能，让开发者自定义存储解决方案。

如何运行 Promptic

安装

首先，通过 pip 安装 Promptic：

pip install promptic

基本用法

使用 @llm 装饰器可以将函数转换为 LLM 驱动的函数。函数的文档字符串将作为提示模板，与函数参数结合生成提示并返回 LLM 的响应。

from promptic import llm

@llm
def translate(text, language="Chinese"):
    """Translate '{text}' to {language}"""

print(translate("Hello world!"))
# 您好，世界！

print(translate("Hello world!", language="Spanish"))
# ¡Hola, mundo!

结构化输出

使用 Pydantic 模型可以确保 LLM 返回的数据结构符合预期。只需定义一个 Pydantic 模型并将其用作返回类型注解。

from pydantic import BaseModel
from promptic import llm

class Forecast(BaseModel):
    location: str
    temperature: float
    units: str

@llm
def get_weather(location, units: str = "fahrenheit") -> Forecast:
    """What's the weather for {location} in {units}?"""

print(get_weather("San Francisco", units="celsius"))
# location='San Francisco' temperature=16.0 units='Celsius'

代理构建

使用 @llm.tool 装饰器可以将函数注册为工具，LLM 可以调用这些工具来执行操作或获取信息。

from datetime import datetime
from promptic import llm

@llm(model="gpt-4o")
def scheduler(command):
    """{command}"""

@scheduler.tool
def get_current_time():
    """Get the current time"""
    return datetime.now().strftime("%I:%M %p")

@scheduler.tool
def add_reminder(task: str, time: str):
    """Add a reminder for a specific task and time"""
    return f"Reminder set: {task} at {time}"

cmd = """
What time is it?
Also, can you check my calendar for tomorrow
and set a reminder for a team meeting at 2pm?
"""

print(scheduler(cmd))
# The current time is 3:48 PM. I checked your calendar for tomorrow, and there are no conflicts. I've also set a reminder for your team meeting at 2 PM tomorrow.

资源

• 项目官网：pypi.org/project/pro…
• GitHub 仓库：github.com/knowsuchage…

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦