进一步探索LangChain的LLM开发工具：LCEL与LangSmith | 豆包MarsCode AI刷题

clearcold
90 阅读6分钟

在大语言模型驱动的应用程序开发中，效率和质量是两个关键的成功要素。然而，面对复杂的逻辑编排、Prompt设计、模型性能优化等难题，开发者往往需要借助一系列工具来简化开发流程并提升生产力。LCEL（Language Chain Execution Library）和LangSmith是两款专为LLM开发者设计的工具，它们在不同领域提供了强有力的支持，帮助开发者快速构建和优化高效的LLM应用。

在这篇文章中，我们将深入更深入地介绍LCEL和LangSmith的功能特点，探讨它们如何解决实际开发中的痛点，并通过代码示例演示它们的实际应用。

LCEL：专注于任务流的简化与执行

LCEL是什么？

对于LCEL的基本介绍，在我上一篇文章中已经有提及，在这里就不再赘述，感兴趣的可以参见：LangChain Expression Language(LCEL)

核心功能

  1. 模块化设计
    LCEL的核心哲学是“模块化”，即将每个任务独立定义为一个模块。每个模块只专注于单一功能，比如数据清洗、文本生成或模型交互。这样可以显著提高代码的可读性和可维护性。
  2. 任务链编排
    开发者可以通过简单的链式结构将多个模块连接起来，清晰地表达复杂逻辑。例如，文本翻译的过程可以分解为“读取输入 -> 调用翻译API -> 格式化输出”三个步骤，并以任务链的形式组织。
  3. 调试与可视化
    内置调试功能使开发者能够实时查看任务链中每一步的输入和输出，帮助快速发现问题。

LCEL的实际应用

使用场景：构建文本转换流程

下面的示例展示了如何利用LCEL构建一个简单的文本转换任务链，该链包含两个步骤：生成问候语并将其转换为大写。

from lcel import TaskChain, Task

# 定义单个任务
class GreetTask(Task):
    def execute(self, input_data):
        return f"Hello, {input_data['name']}!"

class UpperCaseTask(Task):
    def execute(self, input_data):
        return input_data.upper()

# 创建任务链
chain = TaskChain([
    GreetTask(),
    UpperCaseTask()
])

# 执行任务链
result = chain.run({"name": "Alice"})
print(result)  # 输出：HELLO, ALICE!

在这个例子中，GreetTask 负责生成问候语，而 UpperCaseTask 则将生成的结果转换为大写。通过LCEL，开发者无需为任务的调用顺序和数据流处理编写冗长的代码。

使用场景：与外部API集成

LCEL也能轻松集成外部API，比如调用翻译服务：

import requests
from lcel import TaskChain, Task

class TranslateTask(Task):
    def execute(self, input_data):
        text = input_data['text']
        target_lang = input_data['target_lang']
        response = requests.post(
            "https://api.example.com/translate",
            json={"text": text, "lang": target_lang}
        )
        return response.json().get('translation')

# 构建任务链
chain = TaskChain([
    TranslateTask()
])

# 执行翻译任务
result = chain.run({"text": "Hello, world!", "target_lang": "es"})
print(result)  # 输出：Hola, mundo!

通过这种方式，LCEL可以与各种外部服务集成，为复杂任务提供高效的执行框架。

LangSmith：LLM开发生命周期的管理者

什么是LangSmith？

LangSmith是一个专注于LLM开发的综合性平台，旨在简化Prompt设计、数据管理和模型性能分析。LLM应用的成功往往依赖于优质的Prompt和高效的数据管道，而LangSmith通过一站式解决方案，使这些任务的复杂性显著降低。

核心功能

  1. Prompt版本管理
    LangSmith允许开发者保存、比较和回溯不同版本的Prompt，帮助优化模型的响应效果。
  2. 性能分析与调优
    通过对模型输出进行细粒度分析，LangSmith能够帮助识别性能瓶颈并提供改进建议。
  3. 数据管理
    内置的数据管理工具支持从数据导入到标注的全流程，确保开发者能够快速构建高质量数据集。
  4. 可视化和监控
    LangSmith提供直观的仪表板，帮助开发者实时跟踪模型表现，并在出现异常时及时报警。

LangSmith的实际应用

Prompt版本管理

Prompt的设计和迭代对于LLM应用至关重要。以下代码展示了如何使用LangSmith管理Prompt的不同版本：

from langsmith import PromptManager

# 初始化 Prompt 管理器
pm = PromptManager()

# 定义两个版本的 Prompt
prompt_v1 = "Translate the following text to French: {text}"
prompt_v2 = "Please provide a French translation for this: {text}"

# 保存 Prompt 版本
pm.save_prompt("translate_prompt", version="v1", content=prompt_v1)
pm.save_prompt("translate_prompt", version="v2", content=prompt_v2)

# 获取指定版本的 Prompt
selected_prompt = pm.get_prompt("translate_prompt", version="v2")
print(selected_prompt)  # 输出：Please provide a French translation for this: {text}

通过LangSmith，开发者能够快速切换和测试不同Prompt版本，轻松实现性能的持续优化。

数据集构建与清洗

数据质量直接决定了模型的效果。使用LangSmith的数据工具，开发者可以高效构建和管理数据集：

from langsmith import DatasetManager

# 初始化数据集管理器
dm = DatasetManager()

# 创建数据集
dm.create_dataset("translation_dataset")

# 添加数据
dm.add_data("translation_dataset", [
    {"text": "Hello", "target_lang": "es", "translation": "Hola"},
    {"text": "Goodbye", "target_lang": "fr", "translation": "Au revoir"}
])

# 获取数据集内容
dataset = dm.get_dataset("translation_dataset")
print(dataset)

这段代码展示了如何利用LangSmith快速构建结构化数据集，并为训练或测试LLM提供支持。

LCEL与LangSmith的强强联手

LCEL和LangSmith的功能定位互补，结合使用可以进一步提升开发效率。LCEL负责任务流的高效执行，而LangSmith则提供Prompt和数据的版本控制及优化能力。例如，在翻译任务中，开发者可以用LangSmith管理Prompt，用LCEL串联任务，实现灵活、高效的模型调用。

结合应用场景：Prompt驱动的任务流

from lcel import TaskChain, Task
from langsmith import PromptManager

# 使用 LangSmith 管理 Prompt
pm = PromptManager()
pm.save_prompt("translate_prompt", version="v1", content="Translate to Spanish: {text}")

class TranslateTask(Task):
    def __init__(self, prompt_manager, prompt_name, version):
        self.prompt = prompt_manager.get_prompt(prompt_name, version)
    
    def execute(self, input_data):
        return self.prompt.format(text=input_data['text'])

# 构建任务链
chain = TaskChain([
    TranslateTask(pm, "translate_prompt", version="v1")
])

# 执行任务链
result = chain.run({"text": "Hello, World!"})
print(result)  # 输出：Translate to Spanish: Hello, World!

通过将LangSmith与LCEL结合，开发者可以在构建、调试和优化LLM应用时获得更大的灵活性。

总结

在LLM应用开发的浪潮中，工具的选择决定了效率和质量。LCEL以其模块化和灵活性，成为任务流开发的利器；而LangSmith则通过版本控制和数据管理，成为Prompt和性能优化的可靠助手。将两者结合使用，能够充分发挥它们的优势，为开发者打造高效、精确、可维护的LLM驱动应用。在以后使用langchain的LLM开发中，这两款工具绝对值得尝试！

avatar
文章
阅读
粉丝