# 让你的LLM应用程序无懈可击：实现可运行的多层级回退机制
## 引言
在使用语言模型（LLM）时，通常会遇到一些API问题，如速率限制和停机。因此，确保你的应用程序能够应对这些问题就显得尤为重要。本文介绍了如何在可运行的层级实现回退机制，以确保在出现问题时可以自动切换到备用方案。
## 主要内容
### 回退机制的基本概念
回退机制是指在主计划失败时启用的备用方案。在LLM应用中，回退不仅可以应用于单个模型，还可以应用于整个可运行的层级。这对于不同模型需要不同提示符的情况尤其重要。例如，如果调用OpenAI失败，你不希望简单地将相同的提示发送给Anthropic，而是应该使用不同的提示模板。
### 处理LLM API错误的回退
LLM API调用可能由于多种原因失败，如API停机或速率限制。因此，使用回退机制可以帮助防止这些问题。注意，很多LLM包装器默认会捕捉错误并重试。使用回退时，需关闭这些重试功能，否则初始包装器会不断重试而无法触发回退。
## 代码示例
```python
# 安装必要的库
%pip install --upgrade --quiet langchain langchain-openai
from langchain_anthropic import ChatAnthropic
from langchain_openai import ChatOpenAI
from unittest.mock import patch
import httpx
from openai import RateLimitError
# 模拟RateLimitError
request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")
# 初始化模型
openai_llm = ChatOpenAI(model="gpt-3.5-turbo-0125", max_retries=0)
anthropic_llm = ChatAnthropic(model="claude-3-haiku-20240307")
llm = openai_llm.with_fallbacks([anthropic_llm])
# 使用OpenAI LLM显示错误
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(openai_llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
# 使用回退显示成功响应
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
常见问题和解决方案
-
怎样处理不同提示符的需求？
使用不同的提示模板来确保每个模型都有合适的输入。
-
如何处理长输入问题？
可以回退到具有更长上下文窗口的模型。
short_llm = ChatOpenAI()
long_llm = ChatOpenAI(model="gpt-3.5-turbo-16k")
llm = short_llm.with_fallbacks([long_llm])
inputs = "What is the next number: " + ", ".join(["one", "two"] * 3000)
try:
print(short_llm.invoke(inputs))
except Exception as e:
print(e)
try:
print(llm.invoke(inputs))
except Exception as e:
print(e)
总结和进一步学习资源
通过适当的回退机制，可以提高LLM应用程序的稳定性。为了进一步学习，请参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
