## 引言
在使用语言模型API时，常常会遇到速率限制或服务中断等问题。为此，在将LLM应用程序投入生产时，确保其稳健性显得至关重要。本文将介绍如何在可运行代码中引入**回退机制**，以提高应用的稳定性和可靠性。
## 主要内容
### 什么是回退机制？
回退机制是在出现问题时启用的备用计划。例如，如果OpenAI的调用失败，可以切换到使用Anthropic API，但需要调整提示模板以确保兼容性。
### 实现回退机制的重要性
回退机制不仅可以应用于LLM层面，还可以在整个可运行代码层面使用。这对于需要不同提示的不同模型尤为重要。
### 应对LLM API错误的回退
请求LLM API可能因各种原因失败，如API宕机或达到速率限制。通过回退机制，可以有效降低这些风险。
### 如何停用默认重试机制
许多LLM的包装器默认会捕获错误并重试。在使用回退时，建议关闭这些默认重试功能，以便能够迅速切换到备用方案。
## 代码示例
```python
# 使用API代理服务提高访问稳定性
from unittest.mock import patch
import httpx
from openai import RateLimitError
from langchain_openai import ChatOpenAI
from langchain_anthropic import ChatAnthropic
# 设置请求和错误模拟
request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")
# 初始化模型
openai_llm = ChatOpenAI(model="gpt-3.5-turbo-0125", max_retries=0)
anthropic_llm = ChatAnthropic(model="claude-3-haiku-20240307")
llm = openai_llm.with_fallbacks([anthropic_llm])
# 模拟OpenAI错误
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(openai_llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
# 使用回退到Anthropic
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
常见问题和解决方案
如何处理序列回退
当涉及到不同类型的模型时，可以根据模型特性调整提示。例如，OpenAI ChatModel和普通OpenAI模型对提示的处理会有所不同。
长输入的回退策略
当输入长度超过模型的上下文窗口时，可以切换到具有更长上下文能力的模型。
根据输出格式进行回退
对于特定格式输出要求（如JSON），可首先尝试较便宜的模型，如GPT-3.5，若解析失败，再回退到更强的模型，如GPT-4。
总结和进一步学习资源
通过有效地实施回退机制，可以显著提高应用程序的可靠性。为深入学习，建议查阅以下资源：
参考资料
- Langchain Documentation
- OpenAI API Documentation
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
