从0到1掌握最大边际相关性示例选择器（MMR）：实现相似性与多样性的完美平衡

用户38023559900
55 阅读2分钟 
# 引言

在自然语言处理和机器学习中，选择适当的例子来训练模型或生成文本至关重要。最大边际相关性示例选择器（Max Marginal Relevance Example Selector, MMR）是一种有趣且有效的方法，它结合了相似性和多样性原则，使得选出的例子既相关又互补。本篇文章将详细介绍MMR的概念和使用方法。

# 主要内容

## 什么是MMR？

MMR是一种优化算法，用于选择最具代表性的示例集合，同时确保这些示例具有多样性。它通过计算输入和示例之间的余弦相似度来识别最相似的示例，然后迭代地选择它们，但同时对已经选择的示例具有惩罚特性。

## MMR的用途

MMR不仅用于文本生成任务，还可以在其他领域中应用，如推荐系统、信息检索和摘要生成。当你需要在相似性和多样性之间找到最佳平衡时，MMR是一个值得考虑的选择。

# 代码示例

下面是一个使用MMR的代码示例，通过LangChain库实现：

```python
from langchain_community.vectorstores import FAISS
from langchain_core.example_selectors import MaxMarginalRelevanceExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_openai import OpenAIEmbeddings

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 示例任务：创建反义词
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

# 使用API代理服务提高访问稳定性
example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    FAISS,
    k=2,
)

mmr_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

print(mmr_prompt.format(adjective="worried"))

常见问题和解决方案

1. 为什么选择MMR？

MMR通过平衡相似性和多样性解决了在选择中可能出现的偏差问题。它适用于需要多样性且不能完全依赖相似性的场景。

2. 当地网络限制怎么办？

由于某些地区的网络限制，开发者在使用在线API时可能需要考虑使用API代理服务，以提高访问的稳定性和速度。

总结和进一步学习资源

MMR是一种强大的示例选择工具，适合那些需要兼顾相似性和多样性的项目。要进一步学习，可以查看以下资源：

参考资料

  1. LangChain库文档
  2. OpenAI官方API指南
  3. FAISS文档与使用案例

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝