利用备用策略提升语言模型的可靠性
引言
在使用语言模型的过程中，API 调用失败是一个常见问题，原因可能包括 API 限流、服务中断等。为了保证应用的稳定性，引入备用策略（Fallbacks）是至关重要的。本文将深入探讨如何在语言模型中应用备用策略，确保在调用失败时依然能够得到有效响应。
主要内容
什么是备用策略？
备用策略是一种应急计划，当主要计划失败时，可以切换到备用方案。对于语言模型，这意味着在某个模型调用失败后，自动切换到其他可用模型，并使用适合该模型的不同提示模板。
实现语言模型 API 错误的备用方案
这是备用策略的最常用场景。当调用语言模型 API 时，可能会由于多种原因失败，比如服务中断或达到速率限制。通过实现备用策略，可以有效减少此类问题带来的影响。
禁用自动重试
在处理备用策略时，通常需要关闭语言模型封装中的自动重试机制，否则第一个模型在失败时会不断重试，无法切换到备用方案。
# 安装必要的库
%pip install --upgrade --quiet langchain langchain-openai
from langchain_anthropic import ChatAnthropic
from langchain_openai import ChatOpenAI
# 模拟 OpenAI 的 RateLimitError
from unittest.mock import patch
import httpx
from openai import RateLimitError
request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")
# 设置 max_retries = 0 来避免因限流导致的重复尝试
openai_llm = ChatOpenAI(model="gpt-3.5-turbo-0125", max_retries=0)
anthropic_llm = ChatAnthropic(model="claude-3-haiku-20240307")
llm = openai_llm.with_fallbacks([anthropic_llm])
# 尝试调用，显示错误信息
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(openai_llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
# 使用备用策略调用
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
应用场景：序列和长文本
除 API 错误外，备用策略也可用于处理序列和长文本。对于不同模型的不同能力，我们可以针对性地选择备用方案。
# 处理长输入的备用策略
short_llm = ChatOpenAI()
long_llm = ChatOpenAI(model="gpt-3.5-turbo-16k")
llm = short_llm.with_fallbacks([long_llm])
inputs = "What is the next number: " + ", ".join(["one", "two"] * 3000)
try:
print(short_llm.invoke(inputs))
except Exception as e:
print(e)
try:
print(llm.invoke(inputs))
except Exception as e:
print(e)
常见问题和解决方案
问题：调用未触发备用策略
解决方案：确保关闭了自动重试功能，并正确配置了备用模型。
问题：备用模型返回结果不符合预期
解决方案：根据不同模型的特点，使用不同的提示模板，确保输入与模型能力匹配。
总结和进一步学习资源
备用策略在提高语言模型应用的可靠性方面具有重要价值。通过合理配置备用方案，可以有效应对 API 调用失败和其他使用场景中的挑战。
参考资料
- LangChain 官方文档
- OpenAI 官方 API 参考
- Anthropic API 参考
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
